皮皮网

1.PyTorch 源码分析(一）：torch.nn.Module
2.PyTorch源码学习 - （13）模型的保存与加载
3.PyTorch 源码解读之 torch.utils.data：解析数据处理全流程
4.PyTorch - DataLoader 源码解析（一）
5.PyTorch 源码解读之 torch.optim：优化算法接口详解
6.Pytorch之Dataparallel源码解析

PyTorch 源码分析(一）：torch.nn.Module

       nn.Module是PyTorch中最核心和基础的结构，它是操作符/损失函数的基类，同时也是组成各种网络结构的基类（实际上是由多个module组合而成的一个module）。

       在Python侧，2.1回调函数注册，2.2 module类定义中，端口验证源码有以下几个重点函数：

       重点函数一：将模型的参数移动到CUDA上，内部会遍历其子module。

       重点函数二：将模型的参数移动到CPU上，内部会遍历其子module。

       重点函数三：将模型的参数转化为fp或者fp等，内部会遍历其子module。

       重点函数四：forward函数调用。

       重点函数五：返回该net的所有layer。

       在类图中，PyTorch的算子都是module的子类，包括自定义算子和整网定义。

       在C++侧，3.1 module.to("cuda")详细分析中，本质是将module的parameter&buffer等tensor移动到CUDA上，最终调用的是tensor.to(cuda)。

       3.2 module.load/save逻辑中，PyTorch模型保存分为两种，一种是纯参数，一种是带模型结构（PyTorch中的模型结构，本质上是由module、sub-module构造的一个计算图）。

       parameter、buffer是通过key-value的形式来存储和检索的，key为module的.name，value为存储具体数据的tensor。

       InputArchive/OutputArchive的write和read逻辑。

       通过Module，PyTorch将op/loss/opt等串联起来，类似于一个计算图。基于PyTorch构建的ResNet等模型，是逐个算子进行计算的，tensor在CPU和GPU之间来回流动，而不是整个计算都在GPU上完成（即中间计算结果不出GPU）。实际上，在进行推理时，可以构建一个计算图，让整个计算图的计算都在GPU上完成，不知道是否可行（如果GPU上有一个CPU就可以完成这个操作，不知道tensorrt是否是这样的操作）。

PyTorch源码学习 - （）模型的保存与加载

       在PyTorch源码中，模型的保存与加载是通过`torch.save`和`torch.load`两个核心函数实现的。`torch.save`负责将一个Python对象持久化到磁盘文件，而`torch.load`则用于从磁盘文件中恢复对象。

       在具体的实现中，`torch.save`会使用一系列辅助函数如`torch._opener`，最全直播源码`torch._open_zipfile_writer`，`torch._open_zipfile_writer_file`，`torch._open_zipfile_writer_buffer`等来操作文件和流。根据文件或内存缓冲区创建流容器，进行对象的保存。`torch._save`则进一步封装了文件的打开和写入过程，`torch._open_file_like`和`torch._open_file`用于管理文件句柄，`torch._open_buffer_writer`和`torch._open_buffer_reader`则封装了二进制流的读写。

       对于模型加载，`torch.load`函数通过`torch._open_zipfile_reader`和`torch._weights_only_unpickler`实现。`torch._weights_only_unpickler`是定制的反序列化器，限制了处理的数据类型，确保安全加载模型权重。`torch._get_restore_location`和`torch.default_restore_location`则用于获取和设置恢复位置，以支持在多设备或分布式环境下的模型加载。

       实现中，Python和C++的结合是关键，PyTorch使用`PyBind`实现C++和Python接口的绑定。`torch/_C/ __init__.pyi`用于定义Python中类型信息的模板，`torch/csrc/jit/python/init.cpp`则用于实现JIT（Just-In-Time）编译系统，将C++类对象绑定到Python环境，实现高效的动态编译。

       在PyTorch中，Python主要负责管理C++对象，核心工作包括管理C++对象的生命周期、调用C++方法，以及处理Python层面的逻辑和接口定义。通过这样的结合，PyTorch实现了高性能和易用性的统一，为深度学习模型的开发和应用提供了强大支持。

       整体来看，PyTorch的模型保存与加载机制通过精细的文件操作和对象管理，以及Python与C++的高效结合，确保了模型的高效持久化与灵活加载，为深度学习模型的开发与部署提供了坚实的底层支持。

PyTorch 源码解读之 torch.utils.data：解析数据处理全流程

       文@

       目录

       0 前言

       1 Dataset

       1.1 Map-style dataset

       1.2 Iterable-style dataset

       1.3 其他 dataset

       2 Sampler

       3 DataLoader

       3.1 三者关系 (Dataset, Sampler, Dataloader)

       3.2 批处理

       3.2.1 自动批处理（默认）

       3.2.2 关闭自动批处理

       3.2.3 collate_fn

       3.3 多进程处理 (multi-process)

       4 单进程

       5 多进程

       6 锁页内存 (Memory Pinning)

       7 预取 (prefetch)

       8 代码讲解

       0 前言

       本文以 PyTorch 1.7 版本为例，解析 torch.utils.data 模块在数据处理流程中的应用。

       理解 Python 中的迭代器是解读 PyTorch 数据处理逻辑的关键。Dataset、Sampler 和 DataLoader 三者共同构建数据处理流程。

       迭代器通过实现 __iter__() 和 __next__() 方法，支持数据的循环访问。Dataset 提供数据获取接口，Sampler 控制遍历顺序，DataLoader 负责加载和批处理数据。

       1 Dataset

       Dataset 包括 Map-style 和 Iterable-style 两种，分别用于索引访问和迭代访问数据。

       Map-style dataset 通过实现 __getitem__() 和 __len__() 方法，支持通过索引获取数据。

       Iterable-style dataset 实现 __iter__() 方法，dw格式源码适用于随机访问且批次大小依赖于获取数据的场景。

       2 Sampler

       Sampler 用于定义数据遍历的顺序，支持用户自定义和 PyTorch 提供的内置实现。

       3 DataLoader

       DataLoader 是数据加载的核心，支持 Map-style 和 Iterable-style Dataset，提供单多进程处理和批处理等功能。

       通过参数配置，如 batch_size、drop_last、collate_fn 等，DataLoader 实现了数据的自动和手动批处理。

       4 批处理

       3.2.1 自动批处理（默认）

       DataLoader 默认使用自动批处理，通过参数控制批次生成和样本整理。

       3.2.2 关闭自动批处理

       关闭自动批处理，允许用户自定义批处理逻辑或处理单个样本。

       3.2.3 collate_fn

       collate_fn 是手动批处理时的关键，用于整理单个样本为批次。

       5 多进程

       多进程处理通过 num_workers 参数启用，加速数据加载。

       6 单进程

       单进程模式下，数据加载可能影响计算流程，适用于数据量小且无需多进程的场景。

       7 锁页内存 (Memory Pinning)

       Memory Pinning 技术确保数据在 GPU 加速过程中快速传输，提高性能。

       8 代码讲解

       通过具体代码分析，展示了 DataLoader 的初始化、迭代和数据获取过程，涉及迭代器、Sampler 和 Dataset 的交互。

PyTorch - DataLoader 源码解析（一）

       本文为作者基于个人经验进行的初步解析，由于能力有限，可能存在遗漏或错误，敬请各位批评指正。

       本文并未全面解析 DataLoader 的全部源码，仅对 DataLoader 与 Sampler 之间的联系进行了分析。以下内容均基于单线程迭代器代码展开，多线程情况将在后续文章中阐述。

       以一个简单的数据集遍历代码为例，在循环中，数据是如何从 loader 中被取出的？通过断点调试，我们发现循环时，代码进入了 torch.utils.data.DataLoader 类的 __iter__() 方法，具体内容如下：

       可以看到，该函数返回了一个迭代器，主要由 self._get_iterator() 和 self._iterator._reset(self) 提供。接下来，我们进入 self._get_iterator() 方法查看迭代器的产生过程。

       在此方法中，根据 self.num_workers 的数量返回了不同的迭代器，主要区别在于多线程处理方式不同，厦门苹果源码但这两种迭代器都是继承自 _BaseDataLoaderIter 类。这里我们先看单线程下的例子，进入 _SingleProcessDataLoaderIter(self)。

       构造函数并不复杂，在父类的构造器中执行了大量初始化属性，然后在自己的构造器中获得了一个 self._dataset_fetcher。此时继续单步前进断点，发现程序进入到了父类的 __next__() 方法中。

       在分析代码之前，我们先整理一下目前得到的信息：

       下面是 __next__() 方法的内容：

       可以看到最后返回的是变量 data，而 data 是由 self._next_data() 生成的，进入这个方法，我们发现这个方法由子类负责实现。

       在这个方法中，我们可以看到数据从 self._dataset_fecther.fetch() 中得到，需要依赖参数 index，而这个 index 由 self._next_index() 提供。进入这个方法可以发现它是由父类实现的。

       而前面的 index 实际上是由这个 self._sampler_iter 迭代器提供的。查找 self._sampler_iter 的定义，我们发现其在构造函数中。

       仔细观察，我们可以在倒数第 4 行发现 self._sampler_iter = iter(self._index_sampler)，这个迭代器就是这里的 self._index_sampler 提供的，而 self._index_sampler 来自 loader._index_sampler。这个 loader 就是最外层的 DataLoader。因此我们回到 DataLoader 类中查看这个 _index_sampler 是如何得到的。

       我们可以发现 _index_sampler 是一个由 @property 装饰得到的属性，会根据 self._auto_collation 来返回 self.batch_sampler 或者 self.sampler。再次整理已知信息，我们可以得到：

       因此，只要知道 batch_sampler 和 sampler 如何返回 index，就能了解整个流程。

       首先发现这两个属性来自 DataLoader 的构造函数，因此下面先分析构造函数。

       由于构造函数代码量较大，因此这里只关注与 Sampler 相关的部分，代码如下：

       在这里我们只关注以下部分：

       代码首先检查了参数的合法性，然后进行了一轮初始化属性，接着判断了 dataset 的类型，处理完特殊情况。接下来，函数对参数冲突进行了判断，共判断了 3 种参数冲突：

       检查完参数冲突后，函数开始创建 sampler 和 batch_sampler，如下图所示：

       注意，仅当未指定 sampler 时才会创建 sampler；同理，仅在未指定 batch_sampler 且存在 batch_size 时才会创建 batch_sampler。

       在 DataLoader 的构造函数中，如果不指定参数 batch_sampler，声音复刻源码则默认创建 BatchSampler 对象。该对象需要一个 Sampler 对象作为参数参与构造。这也是在构造函数中，batch_sampler 与 sampler 冲突的原因之一。因为传入一个 batch_sampler 时，说明 sampler 已经作为参数完成了 batch_sampler 的构造，若再将 sampler 传入 DataLoader 是多余的。

       以第一节中的简单代码为例，此时并未指定 Sampler 和 batch_sampler，也未指定 batch_size，默认为 1，因此在 DataLoader 构造时，创建了一个 SequencialSampler，并传入了 BatchSampler 进行构建。继续第一节中的断点，可以发现：

       具体使用 sampler 还是 batch_sampler 来生成 index，取决于 _auto_collation，而从上面的代码发现，只要存在 self.batch_sampler 就永远使用 batch_sampler 来生成。batch_sampler 与 sampler 冲突的原因之二：若不设置冲突，那么使用者试图同时指定 batch_sampler 与 sampler 后，尤其是在使用者继承了新的 Sampler 子类后， sampler 在获取数据的时候完全没有被使用，这对开发者来说是一个困惑的现象，容易引起不易察觉的 BUG。

       继续断点发现程序进入了 BatchSampler 的 __iter__() 方法，代码如下：

       从代码中可以发现，程序不停地从 self.sampler 中获取 idx 加入列表，直到填满一个 batch 的量，并将这一整个 batch 的 index 返回到迭代器的 _next_data()。

       此处由 self._dataset_fetcher.fetch(index) 来获取真正的数据，进入函数后看到：

       这里依然根据 self.auto_collation（来自 DataLoader._auto_collation）进行分别处理，但是总体逻辑都是通过 self.dataset[] 来调用 Dataset 对象的 __getitem__() 方法。

       此处的 Dataset 是来自 torchvision 的 DatasetFolder 对象，这里读取文件路径中的后，经过转换变为 Tensor 对象，与标签 target 一起返回。参数中的 index 是由迭代器的 self._dataset_fetcher.fetch() 传入。

       整个获取数据的流程可以用以下流程图简略表示：

       注意：

       另附：

       对于一条循环语句，在执行过程中发生了以下事件：

PyTorch 源码解读之 torch.optim：优化算法接口详解

       本文深入解读了 PyTorch 中的优化算法接口 torch.optim，主要包括优化器 Optimizer、学习率调整策略 LRScheduler 及 SWA 相关优化策略。以下为详细内容：

       Optimizer 是所有优化器的基类，提供了初始化、更新参数、设置初始学习率等基本方法。在初始化优化器时，需要传入模型的可学习参数和超参数。Optimizer 的核心方法包括：

       1. 初始化函数：创建优化器时，需指定模型的可学习参数和超参数，如学习率、动量等。

       2. add_param_group：允许为模型的不同可学习参数组设置不同的超参数，以适应不同的学习需求。

       3. step：执行一次模型参数更新，需要闭包提供损失函数的梯度信息。

       4. zero_grad：在更新参数前，清空参数的梯度信息。

       5. state_dict 和 load_state_dict：用于序列化和反序列化优化器的状态，便于保存和加载模型的训练状态。

       Optimizer 包括常见的优化器如 SGD、Adagrad、RMSprop 和 Adam，各有特点，适用于不同的应用场景。例如，SGD 适用于简单场景，而 Adam 则在处理大数据集时表现更优。

       学习率调节器 lr_scheduler 则负责在训练过程中调整学习率，以适应模型的收敛过程。PyTorch 提供了多种学习率调整策略，如 StepLR、MultiStepLR、ExponentialLR 等，每种策略都有其特点和应用场景，如 StepLR 用于周期性调整学习率，以加速收敛。

       SWA（随机权重平均）是一种优化算法，通过在训练过程中计算模型参数的平均值，可以得到更稳定的模型，提高泛化性能。SWA 涉及 AveragedModel 类，用于更新模型的平均参数，以及 update_bn 函数，用于在训练过程中更新批量归一化参数。

       总结，torch.optim 提供了丰富的优化算法接口，可以根据模型训练的需求灵活选择和配置，以达到最佳的训练效果和泛化性能。通过深入理解这些优化器和学习率调整策略，开发者可以更有效地训练深度学习模型。

Pytorch之Dataparallel源码解析

       深入解析Pytorch之Dataparallel源码

       在深入理解Dataparallel原理之前，需要明白它的使用场景和目的。Dataparallel设计用于在多GPU环境下并行处理数据，提高模型训练效率。

       初始化阶段，Dataparallel需要实例化一个模型。这一步中，模型的参数会被复制到所有可用的GPU上，从而实现并行计算。

       在前向传播阶段，Dataparallel的核心作用体现出来。它会将输入数据分割成多个小批次，然后分别发送到各个GPU上。在每个GPU上执行前向传播操作后，结果会被收集并汇总。这样，即便模型在多GPU上运行，输出结果也如同在单GPU上运行一样。

       具体实现中，Dataparallel会利用Python的多重继承和数据并行策略。它继承自nn.Module，同时调用nn.DataParallel的构造函数，从而实现并行计算。

       对于那些需要在GPU间共享的状态或变量，Dataparallel还提供了相应的管理机制，确保数据的一致性和计算的正确性。这样的设计使得模型能够高效地在多GPU环境下运行，同时保持代码的简洁性和易读性。

       总结而言，Dataparallel通过分割数据、并行执行前向传播和收集结果的机制，实现了高效的数据并行训练。理解其源码有助于开发者更好地利用多GPU资源，提升模型训练效率。

PyTorch显存管理介绍与源码解析（一）

       GPU作为一种通用的数据处理设备，在设计时比较开放，API在满足客户需求的同时，也使得维护成本降低。然而，对于显存的精细管理需要由上层应用来完成。在PyTorch框架中，有一套专门的显存管理逻辑，能够更好地满足框架的需求，相比原生的CUDA API，该机制在管理细化和使用效率上更胜一筹。本文将主要讲解PyTorch1.版显存管理的逻辑，通过分析设计原理，帮助读者理解PyTorch的显存管理机制，以便在使用过程中遇到相关问题时能够更加得心应手。

       显存管理的主要任务是解决当用户创建一个数据（例如张量）时，需要一个确定大小的内存块，管理机制如何合理分配显存块给这个请求，并处理多对多的关系：请求、设备、用户进程。主流AI框架的显存管理方式基本遵循这一逻辑，主要步骤包括：

       1. 管理器申请整块显存，然后将其切分成多个小的显存块；

       2. 上层应用向管理器请求显存，管理器搜索并返回最佳的小显存块给应用；

       3. 管理器将多个闲置的小显存块进行合并，必要时释放这些显存块。

       在这一过程中，涉及的关键动作有申请、切分、搜索匹配、合并、释放等。接下来，我们将分别介绍显存申请/释放方式、设计要素、实现思路。

       ### 显存申请/释放方式

       #### 1.1.1 mallloc方式：`cudaMalloc/Free`

       `cudaMalloc/Free`是最常用的显存申请方式，其操作与CPU的`malloc/free`类似。用户只需指定指针和数据大小，即可调用API获取指定大小的显存块，并返回给`void*devPtr`指针。

       #### 关键问题：时间开销

       `cudaMalloc/Free`的API调用时间并不小，尤其是在框架使用的数据非常零碎且数量多时，频繁调用会直接影响程序整体性能。因此，尽量减少`cudaMalloc/Free`的调用频率是优化的关键。

       #### 1.1.2 统一内存：`cudaMallocManaged`

       `cudaMallocManaged`是一种与CPU内存统一管理的使用方式，允许使用系统内存充当“显存”，从而增加可用显存量，但会导致运行速度降低。

       #### 1.1.3 虚拟内存管理：`cuMemCreate`

       `cuMemCreate`是一种cu driver层的API，提供了一个独立的地址空间，支持显存块大小的动态调整，满足了用户增加显存大小的需求。但同样面临时间开销大和调用不够灵活的问题。

       ### 设计要素

       显存的申请有两种常见方式：动态申请和一次性申请。PyTorch框架采用动态申请方式，实时调整显存使用，避免了过量的显存占用。这种方式的优点是方便多人同时使用设备，但也带来了如何设计申请频率、处理API时间消耗和管理机制带来的碎片问题等挑战。

       ### 实现思路

       PyTorch1.版本显存管理主要采用`cudaMalloc`方式，通过考虑的问题和实现方式来优化显存使用。具体实现逻辑包括：

       #### 2.1 管理逻辑1: size触发创建

       管理机制根据申请的`size`决定创建多大的`segment`以及是否进行切分。

       #### 2.2 管理逻辑2：显存池

       申请显存后，多余显存会被放入显存池中。框架运行时会创建多个显存池，根据显存块的`size`将其映射到不同的池中。

       #### 2.3 管理逻辑3：块融合回收

       用户不需要使用的显存块不直接释放，而是回收到`blockPool`中。当整个`segment`未被使用时，可以触发`cudaFree`操作释放显存。同时，实施一种块融合机制，当释放一个`Block`时，寻找相邻的空闲`Block`进行合并，降低显存碎片问题。

       #### 2.4 整体逻辑

       通过上述介绍，可以整理出一个整体的运行逻辑，包括查找、创建、切分、保存、返回、回收和释放等步骤。在当前机制下，存在的问题是显存可视化，PyTorch支持将操作数据存储下来并进行分析，以便更好地理解`segment`和`block`的关系。

       ### 显存可视化

       在PyTorch2.x中，可以通过Snapshot将显存消耗进行可视化，这有助于了解`segment`和`block`之间的关系。例如，系统创建了一个MB的`segment`，该`segment`可以满足1~MB的`block`需求。通过可视化数据，可以追溯一个`segment`的消耗全过程。

       ### 结论

       通过以上内容的介绍和分析，我们可以了解到PyTorch显存管理机制的设计原理、实现思路以及存在的问题。这一机制旨在优化显存使用效率，满足框架需求，提供灵活且高效的显存管理方案。随着技术的不断发展，显存管理机制也将不断优化，以适应更多复杂场景的需要。

Pytorch中的Dataset和DataLoader源码深入浅出

       构建Pytorch中的数据管道是许多机器学习项目的关键步骤，尤其是当处理复杂的数据集时。本篇文章将深入浅出地解析Pytorch中的Dataset和DataLoader源码，旨在帮助你理解和构建高效的数据管道。

       如果你在构建数据管道时遇到困扰，比如设计自定义的collate_fn函数不知从何入手，或者数据加载速度成为训练性能瓶颈时无法优化，那么这篇文章正是你所需要的。通过阅读本文，你将能够达到对Pytorch中的Dataset和DataLoader源码的深入理解，并掌握构建数据管道的三种常见方式。

       首先，我们来了解一下Pytorch中的Dataset和DataLoader的基本功能和工作原理。

       Dataset是一个类似于列表的数据结构，具有确定的长度，并能通过索引获取数据集中的元素。而DataLoader则是一个实现了__iter__方法的可迭代对象，能够以批量的形式加载数据，控制批量大小、元素的采样方法，并将批量结果整理成模型所需的输入形式。此外，DataLoader支持多进程读取数据，提升数据加载效率。

       构建数据管道通常只需要实现Dataset的__len__方法和__getitem__方法。对于复杂的数据集，可能还需要自定义DataLoader中的collate_fn函数来处理批量数据。

       深入理解Dataset和DataLoader的原理有助于你构建更加高效的数据管道。获取一个批量数据的步骤包括确定数据集长度、抽样出指定数量的元素、根据元素下标获取数据集中的元素，以及整理结果为两个张量。在这一过程中，数据集的长度由Dataset的__len__方法确定，元素的抽样方法由DataLoader的sampler和batch_sampler参数控制，元素获取逻辑在Dataset的__getitem__方法中实现，批量结果整理则由DataLoader的collate_fn函数完成。

       Dataset和DataLoader的源码提供了灵活的控制和优化机制，如调整batch大小、控制数据加载顺序、选择采样方法等。以下是一些常用的Dataset和DataLoader功能的实现方式：

       使用Dataset创建数据集的方法有多种，包括基于Tensor创建数据集、根据目录创建数据集以及创建自定义数据集等。通过继承torch.utils.data.Dataset类，你可以轻松地创建自定义数据集。

       DataLoader的函数签名较为简洁，主要参数包括dataset、batch_size、shuffle、num_workers、pin_memory和drop_last等。在构建数据管道时，只需合理配置这些参数即可。对于复杂结构的数据集，可能还需要自定义collate_fn函数来处理批量数据的特殊需求。

       总的来说，通过深入理解Dataset和DataLoader的原理，你可以更高效地构建数据管道，优化数据加载流程，从而提升机器学习项目的训练效率和性能。无论是处理简单的数据集还是复杂的数据结构，遵循上述原则和方法，你都能够构建出高效且易于维护的数据管道。