1.xfs文件系统：layout与架构、深浅深浅源码分析
2.linux系统管理命令shutdown源码linux系统管理命令
3.aggrid3.0协议有什么用?源码
4.手把手带你学webpack（6）--source-map
5.[转]Megatron-LM源码系列(八)： Context Parallel并行

xfs文件系统：layout与架构、源码分析

       本文由腾讯工程师aurelian撰写，深浅深浅深入解析Linux内核中xfs文件系统的源码layout与架构，结合源码剖析其工作原理。深浅深浅首先，源码视频壁纸源码xfs的深浅深浅layout包括超级块、AGF管理（空闲空间追踪）、源码AGI管理（inode管理）、深浅深浅AGFL（空闲链表）以及B+树结构等组成部分，源码每个部分都有其特定功能，深浅深浅如超级块用于存储关键信息，源码B+树用于快速查找空间。深浅深浅

       在文件操作方面，源码xfs支持iops、深浅深浅fops和aops三个操作集，分别负责inode元数据、客制化源码内存级读写和磁盘级读写。创建文件时，会检查quota并预留空间，通过一系列函数如xfs_trans_reserve_quota和xfs_dir_ialloc进行操作。分配inode时，会依据agi信息和ag的空闲情况动态分配，并通过xfs_iget确保inode在核心内存中可用。

       磁盘级inode分配涉及agi信息的获取和B+树的查找，xfs_ialloc_ag_alloc会根据空闲inode情况完成连续或非连续的分配。写操作涉及内存和磁盘级别，buffer io通过page cache管理，直接io和DAX write则有特定的处理方式。xfs的映射关系和data区域树管理对于高效读写至关重要。

       工具方面，mkfs.xfs用于格式化，xfs_fsr、区块链app源码xfs_bmap、xfs_info等用于维护和监控文件系统，xfs_admin和xfs_copy用于系统参数调整和数据复制，xfs_db则是用于调试的工具。希望本文能帮助读者理解xfs的复杂性，如需了解更多详情，可关注鹅厂架构师公众号。

linux系统管理命令shutdown源码linux系统管理命令

       linux系统管理--htop命令的使用？

       1、Htop是一个非常高级的交互式的实时linux进程监控工具。它和top命令十分相似，但是它具有更丰富的特性，例如用户可以友好地管理进程，快捷键，垂直和水平方式显示进程等等。Htop是一个第三方工具，它不包含在linux系统中，源码软件包你需要使用YUM包管理工具去安装它。

       2、CentOS安装htop

       #yum-yinstallhtop

       3、截图

       如何在linux上用命令实现用户和组的管理？

       Linux上用命令实现本地用户和组的管理

       本地用户和组：管理文件和进程等等

       本地用户和组：

       1）root:超级管理员系统创建的第一个账户

       特点：

       id为:0

       家目录：/root

       具有系统的完全控制权:小心使用。

       #id

       uid=0(root)gid=0(root)groups=0(root)context=unconfined_u:unconfined_r:unconfined_t:s0-s0:c0.c

       #

       2）普通用户：不具有管理员权限

       特点：

       id范围：

       =id=

       家目录：/home/用户名

       #idstudent

       uid=(student)gid=(student)groups=(student),(wheel)

       #

       3）服务用户：为服务提供权限

       特点：

       id范围：

       0id

       家目录：应用程序服务目录

       #idapache

       uid=(apache)gid=(apache)groups=(apache)

       #

       如果是yum，rpm安装的软件：由rpm包中的脚本创建服务账户

       Includeconf.modules.d/*.conf

       #

       #IfyouwishJvcicpO1xuXG4gIHRocmIG5ldyBFcnJvcignctZXRoaW5nIHdybnLi4uJyk7XGXG5cbm1vZHVsZS5leHBvcnRzID0geyBlcnJvckZuIHXG4iXSwibmFtZXMiOltdLCJzb3VyY2VSbIjoiIn0=\n//#sourceURL=webpack-internal:///./src/utils.js\n");

       这种方式适用于在开发模式下需要精确的source-map时使用，相比直接的eval，会更加精确些

3.4inline-source-map

       顾名思义，就是以内联方式存放source-map文件，它会将source-map文件的内容编码成base后直接放在打包结果的最后

constHtmlWebpackPlugin=require('html-webpack-plugin');const{ CleanPlugin}=require('webpack');/***@type{ import('webpack').Configuration}*/module.exports={ mode:'development',devtool:'inline-source-map',plugins:[newHtmlWebpackPlugin(),newCleanPlugin()],};//#sourceMappingURL=data:application/json;charset=utf-8;base,eyJ2ZXJzaW9uIjozLCJmaWxlIjoibWFpbi5qcyIsIm1hcHBpbmdzIjoiOzs7Ozs7Ozs7QUFBQTtBQUNBOztBQUVBO0FBQ0E7O0FBRUEsbUJBQW1COzs7Ozs7O1VDTm5CO1VBQ0E7O1VBRUE7VUFDQTtVQUNBO1VBQ0E7VUFDQTtVQUNBO1VBQ0E7VUFDQTtVQUNBO1VBQ0E7VUFDQTtVQUNBO1VBQ0E7O1VBRUE7VUFDQTs7VUFFQTtVQUNBO1VBQ0E7Ozs7Ozs7OztBQ3RCQSxRQUFRLFVBQVUsRUFBRSxtQkFBTyxDQUFDLCtCQUFTOztBQUVyQyIsInNvdXJjZXMiOlsid2VicGFjazovLzA2X3dlYnBhY2tfccmNlXhcC8uL3NyYydGlscy5qcyIsIndlYnBhY2s6Ly8wNlZWJwYWNrX3NvdXJjZV9tYXAvd2VicGFjay9ibc3RyYXAiLCJ3ZWJwYWNrOi8vMDZfd2VicGFjazb3VyY2VfbWFwLy4vc3JjL2luZGV4LmpzIl0sInNvdXJjZXNDbZWIjpbImZ1bmN0aW9uIGVycm9yRm4oKSB7XG4gIGNvbnNvbGUubG9nKCdoZWxsbyBlcnJvcicpO1xuXG4gIHRocmIG5ldyBFcnJvcignctZXRoaW5nIHdybnLi4uJyk7XGXG5cbm1vZHVsZS5leHBvcnRzID0geyBlcnJvckZuIHXG4iLCIvLyBUaGUgbW9kdWxlIGNhY2hlXGYXIgXZWJwYWNrXvZHVsZV9jYWNoZV9fID0geXG5cbi8vIFRoZSByZXF1aXJlIGZ1bmN0aW9uXG5mdW5jdGlvbiBfX3dlYnBhY2tfcmVxdWlyZV9fKG1vZHVsZUlkKSB7XG5cdC8vIENoZWNrIGlmIG1vZHVsZSBpcyBpbiBjYWNoZVxuXHR2YXIgY2FjaGVkTW9kdWxlID0gXZWJwYWNrXvZHVsZV9jYWNoZV9fWvZHVsZUlkXTtcblWYgKGNhY2hlZE1vZHVsZSAhPT0gdW5kZWZpbmVkKSB7XG5cdFx0cmV0dXJuIGNhY2hlZE1vZHVsZS5leHBvcnRzO1xuXHR9XG5cdC8vIENyZWF0ZSBhIG5ldyBtb2R1bGUgKGFuZCBwdXQgaXQgaWbyB0aGUgY2FjaGUpXG5cdHZhciBtb2R1bGUgPSBfX3dlYnBhY2tfbW9kdWxlX2NhY2hlXbbW9kdWxlSWRdID0ge1xuXHRcdC8vIG5vIG1vZHVsZS5pZCBuZWVkZWRcblx0XHQvLyBubyBtb2R1bGUubG9hZGVkIG5lZWRlZFxuXHRcdGV4cG9ydHM6IHt9XG5cdHXG5cblx0Ly8gRXhlY3V0ZSB0aGUgbW9kdWxlIGZ1bmN0aW9uXG5cdF9fd2VicGFjatb2R1bGVzXbbW9kdWxlSWRdKG1vZHVsZSwgbW9kdWxlLmV4cG9ydHMsIF9fd2VicGFjayZXF1aXJlXpO1xuXG5cdC8vIFJldHVybiB0aGUgZXhwb3J0cyBvZiB0aGUgbW9kdWxlXG5cdHJldHVybiBtb2R1bGUuZXhwb3J0cztcbn1cblxuIiwiYuc3QgeyBlcnJvckZuIH0gPSByZXF1aXJlKCcuL3V0aWxzJyk7XG5cbmVycm9yRm4oKTtcbiJdLCJuYW1lcyI6WsInNvdXJjZVJvb3QiOiIifQ==

       从官方文档可以看到，这种方式的构建速度是最慢的，只适用于构建单个文件的时候使用

3.5cheap-source-map

       这种方式相比source-map而言，没有建立列映射，也就是说遇到报错的时候，只会告诉你哪一行代码出错了，而不会告诉你哪一列出错了，免单商城源码如果开发时对列映射没有太高要求的话可以使用这种方式，毕竟不用生成列映射，比起source-map来说会快一些

constHtmlWebpackPlugin=require('html-webpack-plugin');const{ CleanPlugin}=require('webpack');/***@type{ import('webpack').Configuration}*/module.exports={ mode:'development',devtool:'cheap-source-map',plugins:[newHtmlWebpackPlugin(),newCleanPlugin()],};3.6cheap-module-source-map

       官方文档对这种方式的devtool并没有进行任何详细介绍，事实上这种方式适用于js代码被loader转换过的场景，比如被babel进行了转换，又比如源码是用typescript写的，后来经过loader转成了js代码，而我们又希望在运行的时候出现报错信息时能够对应回typescript代码像这种有loader对js进行转换的场景下，想要保证正确的source-map就需要使用到带有module的devtool了，因为除了cheap-module-source-map，还有很多别的方式也是有module的，只要是在官方文档中看到带有module的devtool都是具有这种特性

       下面就以babel为例，我们通过babel-loader对js进行转换，然后看看能否正确对应到转换前的代码首先安装如下依赖

pnpmi@babel/core@babel-preset-envbabel-loader

       @babel/core是babel的核心，所有功能都要在这个包的基础上运行

       @babel-preset-env让我们可以不需要考虑转换成什么版本的js，它会根据要适配的浏览器自动转换成能兼容相应浏览器的版本，这里我们使用它主要是能够将我们写的es6代码转成es5，从而让我们的源码和打包后的结果有差异，方便观察source-map是否生效

       babel-loader，用于和webpack搭配使用，转换js文件

       接下来配置loader

constHtmlWebpackPlugin=require('html-webpack-plugin');const{ CleanPlugin}=require('webpack');/***@type{ import('webpack').Configuration}*/module.exports={ mode:'development',devtool:'eval',//默认就是eval，因此development模式下不写devtool配置项也可以plugins:[newHtmlWebpackPlugin(),newCleanPlugin()],};0

       然后我们写一个具有es6特性的语法的函数

constHtmlWebpackPlugin=require('html-webpack-plugin');const{ CleanPlugin}=require('webpack');/***@type{ import('webpack').Configuration}*/module.exports={ mode:'development',devtool:'eval',//默认就是eval，因此development模式下不写devtool配置项也可以plugins:[newHtmlWebpackPlugin(),newCleanPlugin()],};1

       使用到了const、箭头函数，经过babel转换成es5后，代码的位置会和源码中不一样，那么在浏览器中如果仍然能够找到转换前的源码，则说明cheap-module-source-map生效了可以看到，在浏览器中确实能够看到转换前的源码，这就是cheap-module-source-map中module的作用，事实上官方文档中这么多的配置项我们不需要害怕，只需要知道每个关键字是什么意思，那么它们组合起来无非就是各种特性的叠加而已

3.7hidden-source-map

       也是一个见名知意的配置项，相比于source-map，就是将最后的//#sourceMappingURL=main.js.map这句注释删除了，这也就意味着source-map不会生效了，但是仍然会生成source-map文件的官方文档中给我们的建议是在只需要知道有错误出现时给我们在控制台输出出来的话就可以使用这种方式

3.8nosources-source-map

       这种方式能够在出现错误的时候告诉我们是源码中哪个文件第几行出错了，但是不会在浏览器中给我们生成源码

总结

       了解完以上这几个devtool配置项，就足够了，官网的个配置项就是根据eval、hidden、inline、cheap、module、nosources这几个关键字组合出来的

       但是组合也是有规则的，官方文档中给出的规则如下：

       [inline-|hidden-|eval-][nosources-][cheap-[module-]]source-map

原文：/post/

[转]Megatron-LM源码系列(八)： Context Parallel并行

       原文链接： Megatron-LM源码系列(八)： Context Parallel并行

       Context Parallel并行(CP)与sequence并行(SP)相比，核心差异在于SP只针对Layernorm和Dropout输出的activation在sequence维度进行切分，而CP则进一步扩展，对所有input输入和所有输出activation在sequence维度上进行切分，形成更高效的并行处理策略。除了Attention模块外，其他如Layernorm、Dropout等模块在CP并行中无需任何修改，因为它们在处理过程中没有涉及多token间的交互。

       Attention模块之所以特殊，是因为在计算过程中，每个token的查询(query)需要与同一sequence中其他token的键(key)和值(value)进行交互计算，存在内在依赖性。因此，在进行CP并行时，计算开始前需要通过allgather通信手段获取所有token的KV向量，反向计算时则通过reduce_scatter分发gradient梯度。

       为了降低显存使用，前向计算阶段每个GPU仅保存部分KV块，反向阶段则通过allgather通信获取全部KV数据。这些通信操作在特定的rank位置（相同TP组内）进行，底层通过send和recv等操作实现allgather和reduce_scatter。

       以TP2-CP2的transformer网络为例，CP并行的通信操作在Attention之前执行，其他则为TP通信。AG表示allgather，RS表示reduce_scatter，AG/RS表示前向allgather反向reduce_scatter，RS/AG表示前向reduce_scatter反向allgather。

       TP2对应为[GPU0, GPU1], [GPU2, GPU3]，CP2指的就是TP组相同位置的rank号，即[GPU0, GPU2], [GPU1, GPU3]。CP并行类似于Ring Attention，但提供了OSS与FlashAttention版本，并去除了冗余的low-triangle causal masking计算。

       LLM常因序列长度过长而导致显存耗尽（OOM）。传统解决方法包括重计算或扩大TP（tensor parallel）大小，但各自存在计算代价增加或线性fc计算时间减少与通信难以掩盖的问题。CP则能更高效地解决这一问题，每个GPU处理一部分序列，同时减少CP倍的通信和计算量，同时保持TP不变，使得activation量也减少CP倍。性能优化结果展示于图表中，用户可通过指定--context-parallel-size在Megatron中实现CP。

       具体源码实现以Megatron-Core 0.5.0版本为例进行说明。

       参考资料：

[链接]