1.复旦博士用130行代码搞定核酸统计，复旦这一程序解决了哪些问题？
2.自然语言处理大模型BLOOM模型结构源码解析(张量并行版)

复旦博士用130行代码搞定核酸统计，博士这一程序解决了哪些问题？

       核酸统计是行代一个比较复杂的问题，在防疫人员不是码源码复很充足的情况下，统计核算是旦博很慢。所以用代码搞定核酸统计可以有效的士知贵阳北站到中心源码解决检测速率的问题，以及统计的复旦问题，同时也给防疫人员减轻了压力。博士

       能够通过快速的行代方式解决核酸统计的问题，是码源码复非常有意义的行为，能够为防疫人员减轻很多负担，旦博同时能够帮助他们快速统计核酸。士知

       一、复旦双链笔记源码核酸检测统计问题

       通过代码的博士形式设计核酸统计程序，相当于将统计问题，行代用最简单的方式快速解决。由于核酸检测人员过多，有时候仅凭人员统计，总是会出一些小问题，小差错，而且效果也不会很好。因为人有时在疲惫或者混乱的时候，容易将统计出错，而电脑计算，基本不会出现这样的pak编辑工具源码问题，而且统计的效果也很好。

       二、核酸检测速率问题

       如果通过人员统计核酸，那速率会大大的降低，特别是一到核算统计的高峰期，仅凭几个防疫人员的统计，那速率会非常的慢，而且有可能会出现错误的统计问题，一般来讲通过代码合成系统进行统计是可以有效的达到统计的效果，而且速度会非常的快，就算是一天核酸检测人数过多，只要通过电脑系统的随机分类视频源码统计，那速度会非常快。

       三、减轻防疫压力

       一般防疫人员在核酸统计期间是非常辛苦，如果一个地方出现了疫情，需要在一天或者一个晚上的时间就要对全市的居民进行核酸检测，这样的检测会力度非常大，而且统计每一个核酸检测的信息也是非常多的，在这种情况下，防御的压力也会增大，如果能够通过系统程序的方式快速的解决这一个问题，那是可以给防疫人员解决很大的优势，减轻防疫人员的获取网页源码在线压力。

自然语言处理大模型BLOOM模型结构源码解析(张量并行版)

       BLOOM模型结构解析，采用Megatron-DeepSpeed框架进行训练，张量并行采用1D模式。基于BigScience开源代码仓库，本文将详细介绍张量并行版BLOOM的原理和结构。

       单机版BLOOM解析见文章。

       模型结构实现依赖mpu模块，推荐系列文章深入理解mpu工具。

       Megatron-DeepSpeed张量并行工具代码mpu详解，覆盖并行环境初始化、Collective通信封装、张量并行层实现、测试以及Embedding层、交叉熵实现与测试。

       Embedding层：Transformer Embedding层包含Word、Position、TokenType三类，分别将输入映射为稠密向量、注入位置信息、类别信息。通常，位置信息通过ALiBi注入，无需传统Position Embedding，TokenType Embedding为可选项。张量并行版BLOOM Embedding层代码在megatron/model/language_model.py，通过参数控制三类Embedding使用。

       激活函数：位于megatron/model/utils.py，BLOOM激活函数采用近似公式实现。

       掩码：张量并行版模型用于预训练，采用Causal Mask确保当前token仅见左侧token。掩码实现于megatron/model/fused_softmax.py，将缩放、mask、softmax融合。

       ALiBi：位置信息注入机制，通过调整query-key点积中静态偏差实现。8个注意力头使用等比序列m计算斜率，个头则有不同序列。实现于megatron/model/transformer.py。

       MLP层：全连接层结构，列并行第一层，行并行第二层，实现于megatron/model/transformer.py。

       多头注意力层：基于标准多头注意力添加ALiBi，简化版代码位于megatron/model/transformer.py。

       并行Transformer层：对应单机版BlookBlock，实现于megatron/model/transformer.py。

       并行Transformer及语言模型：ParallelTransformer类堆叠多个ParallelTransformerLayer，TransformerLanguageModel类在开始添加Embedding层，在末尾添加Pooler，逻辑简单，代码未详述。

       相关文章系列覆盖大模型研究、RETRO、MPT、ChatGLM-6B、BLOOM、LoRA、推理工具测试、LaMDA、Chinchilla、GLM-B等。