皮皮网

1.unity里这种闪电/脉冲波特效怎么做?式源算法怎么更改粒子特效的旋
2.PyTorch 源码分析(三）：torch.nn.Norm类算子
3.深入理解Pytorch的BatchNorm操作（含部分源码）
4.FasterTransformer Decoding 源码分析(三)-LayerNorm介绍
5.[fastllm]fastllm源码结构解析
6.HotSpot启动流程

unity里这种闪电/脉冲波特效怎么做?怎么更改粒子特效的旋

       了解Unity中闪电或脉冲波特效的制作方法，首先可以参考一篇基于物理原理的式源算法闪电动画渲染教程，网址为gamma.cs.unc.edu/LIGHTN...。式源算法通过电解质击穿模型（Dielectric Breakdown Model）模拟闪电，式源算法其形状符合分型图形特性。式源算法因此，式源算法API对接软件源码可以采用拉普拉斯增长模型或泊松增长模型来模拟闪电的式源算法形状。在场景中放置多个电荷，式源算法通过求解Laplace方程得到周围的式源算法电势。电势与空气被击穿的式源算法概率相关，概率公式中n表示相邻栅格个数，式源算法而eta参数则用于调节闪电的式源算法分叉数量，增大eta值会使分叉减少。式源算法

       闪电的式源算法渲染使用的是APSF方法(Atmospheric Point Spread Function)。具体实现可以参考cs.cmu.edu/~ILIM/public...。式源算法另外，有几个采用此方法的演示案例可以供参考，且这些案例通常都提供源代码。包括闪电生成器LumosQuad（版本0.1）,基于自适应网格的快速闪电模拟：Fast Animation of Lightning Using an Adaptive Mesh,以及基于简单随机的闪电渲染方法：cs.uccs.edu/~ssemwal/IA...

PyTorch 源码分析(三）：torch.nn.Norm类算子

       PyTorch源码详解(三)：torch.nn.Norm类算子深入解析

       Norm类算子在PyTorch中扮演着关键角色，它们包括BN（BatchNorm）、LayerNorm和InstanceNorm。高级的源码

       1. BN/LayerNorm/InstanceNorm详解

       BatchNorm（BN）的核心功能是对每个通道（C通道）的数据进行标准化，确保数据在每个批次后保持一致的尺度。它通过学习得到的gamma和beta参数进行缩放和平移，保持输入和输出形状一致，同时让数据分布更加稳定。

       gamma和beta作为动态调整权重的参数，它们在BN的学习过程中起到至关重要的作用。

       2. Norm算子源码分析

       继承关系：Norm类在PyTorch中具有清晰的继承结构，子类如BatchNorm和InstanceNorm分别继承了其特有的功能。

       BN与InstanceNorm实现：在Python代码中，BatchNorm和InstanceNorm的实例化和计算逻辑都包含对输入数据的2D转换，即将其分割为M*N的矩阵。

       计算过程：在计算过程中，首先计算每个通道的均值和方差，这是这些标准化方法的基础步骤。

       C++侧的源码洞察

       C++实现中，对于BatchNorm和LayerNorm，代码着重于处理数据的标准化操作，同时确保线程安全，通过高效的源码编程网数据视图和线程视图处理来提高性能。

深入理解Pytorch的BatchNorm操作（含部分源码）

       Pytorch中的BatchNorm操作在训练和测试模式下有所不同，特别是在涉及dropout时。Batch Normalization（BN）是深度学习中的重要技术，通过在神经网络中间层对输入数据进行标准化处理，解决协方差偏移问题。其核心公式包含对每个通道数据的均值和方差计算，规范化操作后进行仿射变换以保持模型性能。

       在BN中，需要关注的参数主要包括学习参数gamma和beta，以及动态统计的running_mean和running_var。在Pytorch的实现中，如nn.BatchNorm2d API，关键参数包括trainning（模型是否在训练模式）、affine（是否启用仿射变换）、track_running_stats（是否跟踪动态统计）和momentum（动态统计更新的权重）。

       训练状态会影响BN层的计算，当模型处于训练状态（trainning=True）时，running_mean和running_var会在每次前向传播（forward()）中更新，而转为测试模式（mode.eval()）则会冻结这些统计值。源码中的reate源码讲解_NormBase类和_BatchNorm类定义了这些操作的细节，包括动态统计的管理。

       对于自定义BN，可以重载前向传播函数，改变规范化操作的细节。总的来说，理解Pytorch的BatchNorm操作，需关注其在训练和测试模式中的行为，以及与模型训练状态相关的关键参数。

FasterTransformer Decoding 源码分析(三)-LayerNorm介绍

       本文深入探讨FasterTransformer中LayerNormalization（层归一化）的源码实现与优化。作为深度学习中的关键技术，层归一化可确保网络中各层具有相似的分布，从而加速训练过程并改善模型性能。背景介绍部分详细解释了层归一化的工作原理，强调其在神经网络中的高效并行特性与广泛应用。文章从代码起点开始剖析，具体路径位于解码过程的核心部分。调用入口展示了传入参数，包括数据描述和关键参数gamma、beta、eps，商铺架构源码简洁直观，符合公式定义。深入源码的解析揭示了优化点，特别是针对特定数据类型和维度，使用了定制化内核。此设计针对高效处理半精度数据样本，减少判断指令，实现加速运算，且对偶数维度数据进行调整以最大化Warp特性利用。接下来，内核实现的详细描述，强调了通过共享内存与block、warp级归约实现公式计算的高效性。这部分以清晰的代码结构和可视化说明，解释了块级别与Warp级归约在单个块处理多个数据点时的协同作用，以及如何通过巧妙编程优化数据处理效率。文章总结了FasterTransformer中LayerNormalization的整体优化策略，强调了在CUDA开发中基础技巧的应用，并指出与其他优化方案的比较。此外，文章还推荐了OneFlow的性能优化实践，为读者提供了一个深入探索与对比学习的资源。

[fastllm]fastllm源码结构解析

       fastllm源码结构解析

       主要文件结构和继承关系如下：

       main包含factoryllm工厂，用于生成各种llm模型实例，basellm作为基类，包含通用方法和参数，所有模型使用相同的命名空间，fastllm为基本类，定义数据格式、权重映射和基础算子操作。

       fastllm类属性解析：

       SetThreads(int t): 设置线程数

       SetLowMemMode(bool m): 设置低内存模式

       LowBitConfig: 包含量化参数，提供量化与反量化方法

       DataType: 包括浮点、int8、int4等数据类型

       DataDevice: 包含CPU与CUDA

       WeightType: 包括LINEAR、EMBEDDING和None

       Data: 包括形状、大小、扩容信息，量化配置等，提供复制、分配、预扩容等功能

       Tokenizer: 包含TrieNode链表和token-to-string字典，提供插入、编码和解码函数

       WeightMap: 存储模型名称与数据内存，支持从文件加载和保存低位量化权重

       core类操作分析：

       Embedding: 根据输入与权重计算输出

       RMSNorm: L2归一化后乘以权重

       LayerNorm: 使用gamma、beta进行层归一化

       Linear: 线性变换

       Split: 按轴分割数据

       Cat: 按轴拼接数据

       MatMulTransB: 多线程下矩阵转置乘法

       Softmax: 激活函数

       Silu: SiLU激活函数

       GeluNew: 新型Gelu激活函数

       Mul: 矩阵与浮点数乘法

       MulTo: 点乘

       AddTo: 点加操作（带alpha和不带alpha）

       AttentionMask: 根据mask值替换

       Permute: 数据通道转换

       ToDevice: 数据迁移至GPU

       basellm作为抽象类，继承自fastllm，包含纯虚函数如加载权重、模型推理、保存低比特模型、热身等。

       chatglm、moss和vicuna继承自basellm，实现具体模型，函数与basellm类似。

       fastllm结构体与属性解析：

       FileBuffer: 文件读写操作，包括读取各种类型数据和文件写操作

       Data操作: 包括数据拷贝、统计、扩容、转置、计算权重和等

       Tokenizer方法: 包括初始化、清空、插入、编码和解码

       WeightMap方法: 包括从文件加载和保存低位量化权重

       fastllm方法: 包括矩阵转置、通道转换、数据迁移、多线程乘法、激活函数等

HotSpot启动流程

       学习HotSpot启动流程有助于深入理解程序入口和虚拟机运行机制，为后续学习提供整体把握。Launcher作为启动JVM进程的工具，根据类别可划分为正式版启动器，如在Windows下常用的java.exe和javaw.exe，其中前者保留控制台与输出信息，后者用于GUI程序，不显示输出。使用“java -help”可在控制台查看Launcher的具体使用方法和标准选项配置。

       Launcher并非虚拟机核心，而是封装虚拟机执行外壳，负责加载JRE环境与动态链接库。一个JVM进程仅执行指定Java程序，多个Java程序需同时启动多个JVM进程。HotSpot中Launcher由C语言编写，与gamma共享源码，而Java源码位于不同目录。

       理解Launcher执行原理对于深入HotSpot意义重大。Launcher调用HotSpot核心代码初始化JVM，维护整个生命周期。通过添加_JAVA_LAUNCHER_DEBUG=1环境变量，JVM输出详细打印，直观了解启动过程。大致步骤包括前期初始化、版本验证、创建执行环境、设置虚拟机环境、加载虚拟机、解析参数、虚拟机初始化与线程创建等。

       启动入口在main.c/main方法中，调用java.c/JLI_Launch方法，该方法分为几个部分：初始化、版本验证、创建执行环境、设置虚拟机环境、加载虚拟机、参数解析与虚拟机初始化。新线程执行JavaMain()函数，完成虚拟机创建与Java程序运行。

       JavaMain()方法中参数解析、虚拟机初始化、打印信息、确定主类、获取main方法并调用、获取执行结果与退出虚拟机的流程清晰。调用的关键函数如初始化虚拟机、确定主类、获取方法ID与执行方法、检查结果与销毁虚拟机，共同完成Java程序的执行。