1.Python语言学习（三）：Tensorflow_gpu搭建及convlstm核心源码解读
2.从源码build Tensorflow2.6.5的源码记录
3.BERT（Transformer Encoder）详解和TensorFlow实现（附源码）
4.TensorFlow 源码大坑(2) Session
5.Tensorflow 编译加速器 XLA 源码深入解读

Python语言学习（三）：Tensorflow_gpu搭建及convlstm核心源码解读

       在探索深度学习领域，使用Python语言进行编程无疑是源码一条高效且灵活的途径。尤其在科研工作或项目实施中，源码Python以其丰富的源码库资源和简单易用的特性，成为了许多专业人士的源码首选。本文旨在分享在Windows系统下使用Anaconda搭建TensorFlow_gpu环境及解读ConvLSTM核心源码的源码白酒溯源码查询过程。在提供具体步骤的源码同时，也期待读者的源码反馈，以持续改进内容。源码

       为了在Windows系统下搭建适合研究或项目的源码TensorFlow_gpu环境，首先需要确认TensorFlow_gpu版本及其对应的源码cuDNN和CUDA版本。访问相关网站，源码以获取适合自身硬件配置的源码版本信息。以TensorFlow_gpu2.为例，源码进行环境搭建。源码

       在Anaconda环境下，通过命令行操作来创建并激活特定环境，如`tensorflow-gpu`环境，选择Python3.版本。接着，安装cuDNN8.1和CUDA.2。推荐使用特定命令确保安装过程顺利，亲测有效。随后，使用清华镜像源安装TensorFlow_gpu=2..0。激活虚拟环境后，使用Python环境验证安装成功，通常通过特定命令检查GPU版本是boost 源码引用否正确。

       为了在Jupyter Notebook中利用该环境，需要安装ipykernel，并将环境写入notebook的kernel中。激活虚拟环境并打开Jupyter Notebook，通过命令确保内核安装成功。

       对于ConvLSTM核心源码的解读，重点在于理解模型的构建与参数设置。模型核心代码通常包括输入数据维度、模型结构、超参数配置等。以官方样例为例，构建模型时需关注样本整理、标签设置、卷积核数量等关键参数。例如，输入数据维度为（None，，，1），输出数据维度为（None，None，，，）。通过返回序列设置，可以控制模型输出的形态，是ls -i 源码返回单个时间步的输出还是整个输出序列。

       在模型改造中，将彩色图像预测作为目标，需要调整模型的最后层参数，如将`return_sequence`参数更改为`False`，同时将`Conv3D`层修改为`Conv2D`层以适应预测彩色图像的需求。此外，选择合适的损失函数（如MAE）、优化器（如Adam）以及设置Metrics（如MAE）以便在训练过程中监控模型性能。

       通过上述步骤，不仅能够搭建出适合特定研究或项目需求的TensorFlow_gpu环境，还能够深入理解并灵活应用ConvLSTM模型。希望本文内容能够为读者提供有价值的指导，并期待在后续过程中持续改进和完善。

从源码build Tensorflow2.6.5的记录

       .从源码编译Tensorflow2.6.5踩坑记录，笔者经过一天的努力，失败四次后终于成功。Tensorflow2.6.5是截至.时，能够从源码编译的最新版本。

       0 - 前期准备

       为了对Tensorflow进行大规模修改并完成科研工作，笔者有从源码编译Tensorflow的需求。平时更常用的做法是在conda环境中pip install tensorflow，有时为了环境隔离方便打包，会用docker先套住，再上conda + pip安装。

       1 - 资料汇总

       教程参考：

       另注：bazel的编译可以使用换源清华镜像（不是必要）。整体配置流程的根本依据还是官方的教程，但它的redis zipmap源码教程有些点和坑没有涉及到，所以多方材料了解。

       2 - 整体流程

       2.1 确定配置目标

       官网上给到了配置目标，和对应的版本匹配关系（这张表里缺少了对numpy的版本要求）。笔者最后（在docker中）配置成功的版本为tensorflow2.6.5 numpy1..5 Python3.7. GCC7.5.0 CUDA.3 Bazel3.7.2。

       2.2 开始配置

       为了打包方便和编译环境隔离，在docker中进行了以下配置：

       2. 安装TensorFlow pip软件包依赖项，其编译过程依赖于这些包。

       3. Git Tensorflow源代码包。

       4. 安装编译工具Bazel。

       官网的介绍：（1）您需要安装Bazel，才能构建TensorFlow。您可以使用Bazelisk轻松安装Bazel，并且Bazelisk可以自动为TensorFlow下载合适的Bazel版本。为便于使用，请在PATH中将Bazelisk添加为bazel可执行文件。（2）如果没有Bazelisk，您可以手动安装Bazel。请务必安装受支持的Bazel版本，可以是tensorflow/configure.py中指定的介于_TF_MIN_BAZEL_VERSION和_TF_MAX_BAZEL_VERSION之间的任意版本。

       但笔者尝试最快的安装方式是，到Github - bazelbuild/build/releases上下载对应的版本，然后使用sh脚本手动安装。比如依据刚才的配置目标，笔者需要的是Bazel3.7.2，所以下载的文件为bazel-3.7.2-installer-linux-x_.sh。

       5. 配置编译build选项

       官网介绍：通过运行TensorFlow源代码树根目录下的./configure配置系统build。此脚本会提示您指定TensorFlow依赖项的短线狙击源码位置，并要求指定其他构建配置选项（例如，编译器标记）。

       这一步就是选择y/N基本没啥问题，其他参考里都有贴实例。笔者需要GPU的支持，故在CUDA那一栏选择了y，其他部分如Rocm部分就是N（直接按enter也可以）。

       6.开始编译

       编译完成应输出

       7.检查TF是否能用

       3 - 踩坑记录

       3.1 cuda.0在编译时不支持sm_

       笔者最初选择的docker是cuda.0的，在bazel build --config=cuda //tensorflow/tools/pip_package:build_pip_package过程中出现了错误。所以之后选择了上面提到的cuda.3的docker。

       3.2 问题2: numpy、TF、python版本匹配

       在配置过程中，发现numpy、TF、python版本需要匹配，否则会出现错误。

       4 - 启示

       从源码编译Tensorflow2.6.5的过程，虽然经历了多次失败，但最终还是成功。这个过程也让我对Tensorflow的编译流程有了更深入的了解，同时也提醒我在后续的工作中要注意版本匹配问题。

BERT（Transformer Encoder）详解和TensorFlow实现（附源码）

       BERT，全称Bidirectional Encoder Representation from Transformers，源自Transformer的Encoder部分。其核心结构通过双向注意力机制，使得每个token能同时关注其前后文内容，形成双向上下文融合。相较于单向语言模型，BERT在复杂语言理解任务中展现出更强大的性能，如完形填空、问答系统、情感分析、目标导向搜索和辅助导航等。

       BERT的训练机制包含两种创新的预训练策略：Masked Language Model（MLM）和Next Sentence Prediction（NSP）。MLM通过在句子中随机遮蔽部分词汇，促使模型基于上下文进行预测，增强词汇理解和错误纠正能力。NSP则判断两句话在语料中的连续性，强化句子级别的语言表征能力。

       在BERT的架构中，每个输入token生成一个输出表示，对于任务不同，输出会用到额外的输出层进行预测。例如，对于完型填空或问答任务，使用每个token对应的输出；对于情感分类任务，则使用“[CLS]”对应的输出。

       微调阶段，BERT在大量语料上训练后，可用于NLP的各个任务中。对于语义分析任务，构建模型时将BERT输出中的“[CLS]”符号输入到Dense层进行分类处理。通过加载BERT模型、预处理模型以及进行微调，最终完成任务的训练和推理。

TensorFlow 源码大坑(2) Session

       深入探讨TensorFlow源码中的Session机制，揭示其运行机制和复杂性。从Python和C++两端的Session API入手，解析其调用栈，解析内部工作流程。Python端的tf.Session().run()方法，通过初始化调用栈，实现计算图的执行。C++端的ClientSession.run()同样展示了Session运行机制，揭示了底层实现细节。对比之下，DirectSession作为Session的基类，展示了如何构建Executor并具体运行计算图，为理解TensorFlow的高效计算逻辑提供了深入视角。

       深入解析Python端tf.Session().run()方法的调用栈，揭示了其如何通过初始化调用栈来执行计算图的全过程。从创建Session到调用run方法，每一次调用都紧锣密鼓地执行一系列操作，确保计算图能够正确运行，这使得理解TensorFlow的执行流程变得清晰。

       同时，C++端的ClientSession.run()方法提供了另一种视角，展示了Session运行机制在底层语言中的实现。通过对比Python和C++端的实现，可以更深入地理解TensorFlow在不同环境下的兼容性和性能优化。

       DirectSession作为Session的基类，展示了如何构建Executor并具体运行计算图。通过分析DirectSession的run方法和构建过程，可以理解TensorFlow在执行计算图时的灵活性和高效性，以及如何通过Executor优化计算流程。

       总之，深入研究TensorFlow源码中的Session机制，不仅能够揭示其复杂性，还能为开发者提供优化计算图执行流程、提升模型训练效率的策略，是理解TensorFlow内核机制的关键。

Tensorflow 编译加速器 XLA 源码深入解读

       XLA是Tensorflow内置的编译器，用于加速计算过程。然而，不熟悉其工作机制的开发者在实践中可能无法获得预期的加速效果，甚至有时会导致性能下降。本文旨在通过深入解读XLA的源码，帮助读者理解其内部机制，以便更好地利用XLA的性能优化功能。

       XLA的源码主要分布在github.com/tensorflow/tensorflow的多个目录下，对应不同的模块。使用XLA时，可以采用JIT（Just-In-Time）或AOT（ Ahead-Of-Time）两种编译方式。JIT方式更为普遍，对用户负担较小，只需开启一个开关即可享受到加速效果。本文将专注于JIT的实现与理解。

       JIT通过在Tensorflow运行时，从Graph中选择特定子图进行XLA编译与运行，实现了对计算图的加速。Tensorflow提供了一种名为JIT的使用方式，它通过向Tensorflow注册多个优化PASS来实现这一功能。这些优化PASS的执行顺序决定了加速效果。

       核心的优化PASS包括但不限于EncapsulateXlaComputationsPass、MarkForCompilationPass、EncapsulateSubgraphsPass、BuildXlaOpsPass等。EncapsulateXlaComputationsPass负责将具有相同_xla_compile_id属性的算子融合为一个XlaLaunch，而XlaLaunch在运行时将子图编译并执行。

       AutoClustering则自动寻找适合编译的子图，将其作为Cluster进行优化。XlaCompileOp承载了Cluster的所有输入和子图信息，在运行时通过编译得到XlaExecutableClosure，最终由XlaRunOp执行。

       在JIT部分，关键在于理解和实现XlaCompilationCache::CompileStrict中的编译逻辑。此过程包括两步，最终结果封装在XlaCompilationResult和LocalExecutable中，供后续使用。

       tf2xla模块负责将Tensorflow Graph转化为XlaCompilationResult（HloModuleProto），实现从Tensorflow到XLA的转换。在tf2xla中定义的XlaOpKernel用于封装计算过程，并在GraphCompiler::Compile中实现每个Kernel的计算，即执行每个XlaOpKernel的Compile。

       xla/client模块提供了核心接口，用于构建计算图并将其转换为HloModuleProto。XlaBuilder构建计算图的结构，而XlaOpKernel通过使用这些基本原语描述计算过程，最终通过xla_builder的Build方法生成HloComputationProto。

       xla/service模块负责将HloModuleProto编译为可执行的Executable。该过程涉及多个步骤，包括LLVMCompiler的编译和优化，最终生成适合特定目标架构的可执行代码。此模块通过一系列的优化pass，如RunHloPasses和RunBackend，对HloModule进行优化和转换，最终编译为目标代码。

       本文旨在提供XLA源码的深度解读，帮助开发者理解其工作机制和实现细节。如有问题或疑问，欢迎指正与交流，共同探讨和学习。期待与您在下一篇文章中再次相遇。