1.spark sql源码系列 | with as 语句真的码书会把查询的数据存内存嘛？
2.总想问问哪类人群适合学IT技术呢？
3.Spark源码解析2-YarnCluster模式启动
4.Spark-Submit 源码剖析
5.SPARK-38864 - Spark支持unpivot源码分析
6.国内最好的Java培训机构有哪些？

spark sql源码系列 | with as 语句真的会把查询的数据存内存嘛？

       在探讨 Spark SQL 中 with...as 语句是否真的会把查询的数据存入内存之前，我们需要理清几个关键点。码书首先，码书网上诸多博客常常提及 with...as 语句会将数据存放于内存中，码书来提升性能。码书那么，码书语音论坛源码实际情况究竟如何呢？

       让我们以 hive-sql 的码书视角来解答这一问题。在 hive 中，码书有一个名为 `hive.optimize.cte.materialize.threshold` 的码书参数。默认情况下，码书其值为 -1，码书代表关闭。码书当值大于 0 时（如设置为 2），码书with...as 语句生成的码书表将在被引用次数达到设定值后物化，从而确保 with...as 语句仅执行一次，码书进而提高效率。

       接下来，我们通过具体测试来验证上述结论。在不调整该参数的情况下，执行计划显示 test 表被读取了两次。此时，我们将参数调整为 `set hive.optimize.cte.materialize.threshold=1`，执行计划显示了 test 表被物化的情况，表明查询结果已被缓存。

       转而观察 Spark SQL 端，我们并未发现相关优化参数。Spark 对 with...as 的操作相对较少，在源码层面，通过获取元数据时所做的参数判断（如阈值与 cte 引用次数），我们可以发现 Spark 在这个逻辑上并未提供明确的优化机制，来专门针对 with...as 语句进行高效管理。

       综上所述，奔跑吧兔子 源码通过与 hive-sql 的对比以及深入源码分析，我们得出了 with...as 语句在 Spark SQL 中是否把数据存入内存的结论，答案并不是绝对的。关键在于是否通过参数调整来物化结果，以及 Spark 在自身框架层面并未提供特定优化策略来针对 with...as 语句进行内存管理。因此，正确使用 with...as 语句并结合具体业务场景，灵活调整优化参数策略，是实现性能提升的关键。

总想问问哪类人群适合学IT技术呢？

       1. 大数据新手复习资料：这份资料针对大数据新手，超出了2万字的详细版本。内容包括Linux基础、分布式系统原理及流行的大数据技术，如Lilux、Zookeeper、Hadoop、HDFS、Hive、Hbase、Scala和Spark等。

       2. 纯血鸿蒙系统学习和发展前景：纯血鸿蒙与鸿蒙系统有所区别，它不再兼容安卓。随着鸿蒙生态的快速发展，学习鸿蒙开发变得非常有价值，特别是对于对新技术感兴趣的程序员和计算机专业的同学。要学习鸿蒙，首先要掌握的是HarmonyOS NEXT特有的开发语言ArkTS。同时，也有适用于不同背景的学习资料和视频教程，例如涵盖ArkTS、TypeScript、android 应用宝源码ArkUI等知识点的教学视频，以及鸿蒙生态应用开发白皮书。

       3. 网络安全学习资料：学习网络安全需要循序渐进，由浅入深。其中包括Linux、数据库、渗透测试、等保测评、应急响应等知识。学习方法有两种：先学习编程，然后学习WEB渗透及工具使用；先学习WEB渗透及工具，然后再学习编程。学习方式有自学和参加培训。

       4. 汽轮机系统学习资料：这份资料包含动力工程、动力管道设计、燃气设计、焦化设计、煤气设计等相关书籍，以及汽轮机图纸、技术论文、技术手册、培训教材等。

       5. 综合布线系统入门学习资料：这份资料可以作为新人学习资料，也可以当作公司培训资料。

       6. hadoop分布式安装部署教程：适合不同水平的学习者。教程涵盖了大数据的绝大多数知识点，并提供了系统的学习资料，包括大公司面试题、学习笔记、源代码讲义、实战项目、boa cgi程序源码学习路线图和教学视频。此外，资料会持续更新。

Spark源码解析2-YarnCluster模式启动

       YARN 模式运行机制主要体现在Yarn Cluster 模式和Yarn Client 模式上。在Yarn Cluster模式下，SparkSubmit、ApplicationMaster 和 CoarseGrainedExecutorBackend 是独立的进程，而Driver 是独立的线程；Executor 和 YarnClusterApplication 是对象。在Yarn Client模式下，SparkSubmit、ApplicationMaster 和 YarnCoarseGrainedExecutorBackend 也是独立的进程，而Executor和Driver是对象。

       在源码中，SparkSubmit阶段首先执行Spark提交命令，底层执行的是开启SparkSubmit进程的命令。代码中，SparkSubmit从main()开始，根据运行模式获取后续要反射调用的类名赋给元组中的ChildMainClass。如果是Yarn Cluster模式，则为YarnClusterApplication；如果是Yarn Client模式，则为主类用户自定义的类。接下来，获取ChildMainClass后，通过反射调用main方法的过程，反射获取类然后通过构造器获取一个示例并多态为SparkApplication，再调用它的start方法。随后调用YarnClusterApplication的start方法。在YarnClient中，new一个Client对象，其中包含了yarnClient = YarnClient.createYarnClient属性，这是圈里人源码Yarn在SparkSubmit中的客户端，yarnClient在第行初始化和开始，即连接Yarn集群或RM。之后就可以通过这个客户端与Yarn的RM进行通信和提交应用，即调用run方法。

       ApplicationMaster阶段主要涉及开启一个Driver新线程、AM向RM注册、AM向RM申请资源并处理、封装ExecutorBackend启动命令以及AM向NM通信提交命令由NM启动ExecutorBackend。在ApplicationMaster进程中，首先开启Driver线程，开始运行用户自定义代码，创建Spark程序入口SparkContext，接着创建RDD，生成job，划分阶段提交Task等操作。

       在申请资源之前，AM主线程创建了Driver的终端引用，作为参数传入createAllocator()，因为Executor启动后需要向Driver反向注册，所以启动过程必须封装Driver的EndpointRef。AM主线程向RM申请获取可用资源Container，并处理这些资源。ExecutorBackend阶段尚未完成，后续内容待补充。

Spark-Submit 源码剖析

       直奔主题吧：

       常规Spark提交任务脚本如下：

       其中几个关键的参数：

       再看下cluster.conf配置参数，如下：

       spark-submit提交一个job到spark集群中，大致的经历三个过程：

       代码总Main入口如下：

       Main支持两种模式CLI：SparkSubmit；SparkClass

       首先是checkArgument做参数校验

       而sparksubmit则是通过buildCommand来创建

       buildCommand核心是AbstractCommandBuilder类

       继续往下剥洋葱AbstractCommandBuilder如下：

       定义Spark命令创建的方法一个抽象类,SparkSubmitCommandBuilder刚好是实现类如下

       SparkSubmit种类可以分为以上6种。SparkSubmitCommandBuilder有两个构造方法有参数和无参数：

       有参数中根据参数传入拆分三种方式，然后通过OptionParser解析Args，构造参数创建对象后核心方法是通过buildCommand，而buildCommand又是通过buildSparkSubmitCommand来生成具体提交。

       buildSparkSubmitCommand会返回List的命令集合，分为两个部分去创建此List,

       第一个如下加入Driver_memory参数

       第二个是通过buildSparkSubmitArgs方法构建的具体参数是MASTER，DEPLOY_MODE，FILES，CLASS等等，这些就和我们上面截图中是对应上的。是通过OptionParser方式获取到。

       那么到这里的话buildCommand就生成了一个完成sparksubmit参数的命令List

       而生成命令之后执行的任务开启点在org.apache.spark.deploy.SparkSubmit.scala

       继续往下剥洋葱SparkSubmit.scala代码入口如下：

       SparkSubmit，kill，request都支持，后两个方法知识支持standalone和Mesos集群方式下。dosubmit作为函数入口，其中第一步是初始化LOG，然后初始化解析参数涉及到类

       SparkSubmitArguments作为参数初始化类，继承SparkSubmitArgumentsParser类

       其中env是测试用的,参数解析如下，parse方法继承了SparkSubmitArgumentsParser解析函数查找 args 中设置的--选项和值并解析为 name 和 value ，如 --master yarn-client 会被解析为值为 --master 的 name 和值为 yarn-client 的 value 。

       这之后调用SparkSubmitArguments#handle(MASTER, "yarn-client")进行处理。

       这个函数也很简单，根据参数 opt 及 value，设置各个成员的值。接上例，parse 中调用 handle("--master", "yarn-client")后，在 handle 函数中，master 成员将被赋值为 yarn-client。

       回到SparkSubmit.scala通过SparkSubmitArguments生成了args，然后调用action来匹配动作是submit,kill,request_status,print_version。

       直接看submit的action，doRunMain执行入口

       其中prepareSubmitEnvironment初始化环境变量该方法返回一个四元 Tuple ，分别表示子进程参数、子进程 classpath 列表、系统属性 map 、子进程 main 方法。完成了提交环境的准备工作之后，接下来就将启动子进程。

       runMain则是执行入口，入参则是执行参数SparkSubmitArguments

       Main执行非常的简单：几个核心步骤

       先是打印一串日志（可忽略），然后是创建了loader是把依赖包jar全部导入到项目中

       然后是MainClass的生成，异常处理是ClassNotFoundException和NoClassDeffoundError

       再者是生成Application，根据MainClass生成APP,最后调用start执行

       具体执行是SparkApplication.scala，那么继续往下剥~

       仔细阅读下SparkApplication还是挺深的，所以打算另外写篇继续深入研读~

SPARK- - Spark支持unpivot源码分析

       unpivot是数据库系统中用于列转行的内置函数，如SQL SERVER, Oracle等。以数据集tb1为例，每个数字代表某个人在某个学科的成绩。若要将此表扩展为三元组，可使用union实现。但随列数增加，SQL语句变长。许多SQL引擎提供内置函数unpivot简化此过程。unpivot使用时需指定保留列、进行转行的列、新列名及值列名。

       SPARK从SPARK-版本开始支持DataSet的unpivot函数，逐步扩展至pyspark与SQL。在Dataset API中，ids为要保留的Column数组，Column类提供了从String构造Column的隐式转换，方便使用。利用此API，可通过unpivot函数将数据集转换为所需的三元组。values表示转行列，variableColumnName为新列名，valueColumnName为值列名。

       Analyser阶段解析unpivot算子，将逻辑执行计划转化为物理执行计划。当用户开启hive catalog，SPARK SQL根据表名和metastore URL查找表元数据，转化为Hive相关逻辑执行计划。物理执行计划如BroadcastHashJoinExec，表示具体的执行策略。规则ResolveUnpivot将包含unpivot的算子转换为Expand算子，在物理执行计划阶段执行。此转换由开发者自定义规则完成，通过遍历逻辑执行计划树，根据节点类型及状态进行不同处理。

       unpivot函数实现过程中，首先将原始数据集投影为包含ids、variableColumnName、valueColumnName的列，实现语义转换。随后，通过map函数处理values列，构建新的行数据，最终返回Expand算子。在物理执行计划阶段，Expand算子将数据转换为所需形式，实现unpivot功能。

       综上所述，SPARK内置函数unpivot的实现通过解析列参数，组装Expand算子完成，为用户提供简便的列转行功能。通过理解此过程，可深入掌握SPARK SQL的开发原理与内在机制。

国内最好的Java培训机构有哪些？

       1. Java作为后端开发的核心语言，不仅负责处理复杂的业务逻辑，还

       2. 提供了丰富的学习资料和视频教程，例如涵盖ArkTS、TypeScript、ArkUI等知识点的教学视频，以及鸿蒙生态应用开发白皮书。一份详细的学习路线图可以帮助大家高效掌握关键知识点。有兴趣深入了解的朋友，可以查看以下链接获取更多学习资料：- 鸿蒙教学视频：[点击这里](/doc/DZVVBYlhuRkZQZlB3)- 鸿蒙开发学习手册：[点击这里](/doc/DZVVBYlhuRkZQZlB3)希望这些信息能对你们有所帮助！

       3. 提供了关于大数据的全面学习资料，包括Linux命令、Linux系统中的用户和用户组管理、文件权限修改、环境变量配置、Linux软件安装方式、选择Linux操作系统版本、Linux服务器之间免密登录实现方式、Shell脚本基础知识以及ZooKeeper和Hadoop分布式系统的相关知识点。

       4. 本系统采用Hadoop与Spark作为大数据处理核心，确保海量学习数据的高效存储与快速分析。前端采用Vue.js框架结合HTML与ECharts图表库，为用户提供直观、交互性强的数据可视化界面。后端则依托Spring Boot框架与MyBatis持久层技术，实现稳定可靠的业务逻辑处理与数据库交互。

       5. 提供了关于汽轮机的全面学习资料，包括电子书、锅炉图纸、案例分析、规范、运行动画等文件。内容涵盖了动力工程、动力管道设计、燃气设计、焦化设计、煤气设计等相关书籍。

       6. 分享了之前整理的综合布线系统培训资料，非常全面，可以作为新人学习资料，也可以当作公司培训资料。

       7. 提供了关于Hadoop分布式安装部署的教程，适合不同水平的学习者。教程涵盖了大数据的绝大多数知识点，并提供了系统的学习资料，包括大公司面试题、学习笔记、源代码讲义、实战项目、学习路线图和教学视频。