皮皮网

1.如何学习Spark API
2.深度解析Delta Lake
3.SQL Server 2019 CU5带来了哪些新功能和改进？
4.Spark-Submit 源码剖析

如何学习Spark API

       Spark采用一个统一的技术堆栈解决了云计算大数据的如流处理、图技术、机器学习、NoSQL查询等方面的所有核心问题，具有完善的生态系统，这直接奠定了其一统云计算大数据领域的霸主地位；

       è¦æƒ³æˆä¸ºSpark高手，需要经历一下阶段：

       ç¬¬ä¸€é˜¶æ®µï¼šç†Ÿç»ƒåœ°æŽŒæ¡Scala语言

       1， Spark框架是采用Scala语言编写的，精致而优雅。要想成为Spark高手，你就必须阅读Spark的源代码，就必须掌握Scala,署源；

       2， 虽然说现在的Spark可以采用多语言Java、Python等进行应用程序开发，但是最快速的和支持最好的开发API依然并将永远是Scala方式的API，所以你必须掌握Scala来编写复杂的和高性能的Spark分布式程序；

       3， 尤其要熟练掌握Scala的trait、apply、函数式编程、泛型、逆变与协变等；

       ç¬¬äºŒé˜¶æ®µï¼šç²¾é€šSpark平台本身提供给开发者API

       1， 掌握Spark中面向RDD的开发模式，掌握各种transformation和action函数的使用；

       2， 掌握Spark中的宽依赖和窄依赖以及lineage机制；

       3， 掌握RDD的计算流程，例如Stage的划分、Spark应用程序提交给集群的基本过程和Worker节点基础的工作原理等

       ç¬¬ä¸‰é˜¶æ®µï¼šæ·±å…¥Spark内核

       æ­¤é˜¶æ®µä¸»è¦æ˜¯é€šè¿‡Spark框架的源码研读来深入Spark内核部分：

       1， 通过源码掌握Spark的任务提交过程；

       2， 通过源码掌握Spark集群的任务调度；

       3， 尤其要精通DAGScheduler、TaskScheduler和Worker节点内部的工作的每一步的细节；

       ç¬¬å››é˜¶çº§:掌握基于Spark上的核心框架的使用

       Spark作为云计算大数据时代的集大成者，在实时流处理、图技术、机器学习、NoSQL查询等方面具有显著的优势，我们使用Spark的时候大部分时间都是在使用其上的框架例如Shark、Spark Streaming等：

       1， Spark Streaming是非常出色的实时流处理框架，要掌握其DStream、transformation和checkpoint等；

       2， Spark的离线统计分析功能，Spark 1.0.0版本在Shark的基础上推出了Spark SQL，离线统计分析的功能的效率有显著的提升，需要重点掌握；

       3， 对于Spark的机器学习和GraphX等要掌握其原理和用法；

       ç¬¬äº”阶级:做商业级别的Spark项目

       é€šè¿‡ä¸€ä¸ªå®Œæ•´çš„具有代表性的Spark项目来贯穿Spark的方方面面，包括项目的架构设计、用到的技术的剖析、开发实现、运维等，完整掌握其中的每一个阶段和细节，这样就可以让您以后可以从容面对绝大多数Spark项目。

       ç¬¬å…­é˜¶çº§ï¼šæä¾›Spark解决方案

       1， 彻底掌握Spark框架源码的每一个细节；

深度解析Delta Lake

       在设计分析型数据库时，对存储的码剖需求主要侧重于吞吐量，而非IOPS或延迟。源码数据通常以压缩的分析形式存储，倾向于采用out-of-place update策略，署源这意味着OSS，码剖泡泡代码源码以其大容量和低成本，源码成为了理想的分析存储选择。然而，署源OSS的码剖一些特性给数据库设计者提出了挑战。

       Delta Lake是源码Databricks在OSS基础上构建的表存储层，我们通过研究其文档和源代码，分析深入剖析了Delta Lake如何应对这些挑战。署源首先，码剖Delta Lake在一个表中整合了实际数据和操作日志，源码所有文件集中存储在一个目录结构下，app菜单源码尽管OSS的文件布局是扁平的。数据以Parquet格式存储，并支持分区，同一分区的文件共享相同的子目录作为前缀。

       为解决分区键可能导致的AWS S3写入热点问题，Delta Lake引入了随机文件名前缀。表操作日志存储在_delta_log子目录中，以JSON格式记录，并按递增数字命名，包括数据文件增加、删除和schema修改。定期的checkpoint以Parquet格式保存，便于Spark并行处理。

       元数据管理上，Delta Lake利用日志跟踪所有操作，vr公式源码构建实时快照，这在处理大量数据时效率高，避免了Hive元数据存储成为性能瓶颈。通过缓存优化，减少逻辑构造成本。虽然日志方案高效，但初始设计中未考虑high metastore，后来认识到其对全局视图的必要性，但需保持高效，避免成为性能瓶颈。

       Delta Lake采用乐观并发控制策略，实现文件级的MVCC。写事务基于快照更新数据并记录操作，读事务基于快照读取。事务处理策略保证了原子性和隔离性，0.5的源码同时设计了容忍最终一致性，确保数据一致性。此外，优化小文件和data skipping策略，以及Z-Ordering机制，提高了数据处理效率。

       总结来说，Delta Lake在云对象存储上构建的高效分析型数据库方案，尽管存在一些局限，但对于大数据处理和简化Lambda架构，仍表现出色。深入研究Delta Lake的设计，有助于我们更好地理解和利用这种技术。

SQL Server CU5带来了哪些新功能和改进？

       SQL Server 焕然一新：CU5累积更新带来重大突破

       自SQL Server 全面登陆以来，微软持续创新，云平台 源码引领数据处理新纪元。近期，我们迎来了期待已久的SQL Server Cumulative Update (CU5)。这次更新不仅增强了原有的大数据集群(BDC)，更在多个关键领域实现了显著扩展。

       CU5焦点：BDC功能升级

       CU5的亮点在于，BDC现在支持在红帽OpenShift Kubernetes平台上无缝部署，这意味着企业用户可以在Linux容器中更高效地利用SQL Server。更重要的是，运行在BDC中的应用程序现在以非根用户身份启动，提升了安全性和隔离性，而对先前部署的BDC，这一改变是兼容的，无需额外操作。

       同时，CU5允许在同一活动目录域中部署多个BDC，为大型企业提供了更大的灵活性。数据虚拟化体验也得到了丰富，sp_data_source_objects和sp_data_source_columns两个存储过程的引入，让数据管理更为直观和高效。

       开源互联的增强

       开放源码社区的力量得到了深化，CU5中Apache Spark SQL连接器得到了加强，以Apache V2许可开放，推动了SQL Server与Azure SQL Connector之间的无缝协作。开发者们将能期待更多连接器功能的更新，助力企业级数据处理。

       总结来说，SQL Server CU5是一个里程碑式的更新，它不仅提升了数据处理能力，还加强了与开源生态的连接，让数据驱动的决策更加智能和灵活。欲了解更多详细信息，请关注我们的官方博客，那里将有深入的剖析和实操教程。

       标签: SQL Server , Kubernetes, OpenShift, 数据虚拟化

Spark-Submit 源码剖析

       直奔主题吧：

       常规Spark提交任务脚本如下：

       其中几个关键的参数：

       再看下cluster.conf配置参数，如下：

       spark-submit提交一个job到spark集群中，大致的经历三个过程：

       代码总Main入口如下：

       Main支持两种模式CLI：SparkSubmit；SparkClass

       首先是checkArgument做参数校验

       而sparksubmit则是通过buildCommand来创建

       buildCommand核心是AbstractCommandBuilder类

       继续往下剥洋葱AbstractCommandBuilder如下：

       定义Spark命令创建的方法一个抽象类,SparkSubmitCommandBuilder刚好是实现类如下

       SparkSubmit种类可以分为以上6种。SparkSubmitCommandBuilder有两个构造方法有参数和无参数：

       有参数中根据参数传入拆分三种方式，然后通过OptionParser解析Args，构造参数创建对象后核心方法是通过buildCommand，而buildCommand又是通过buildSparkSubmitCommand来生成具体提交。

       buildSparkSubmitCommand会返回List的命令集合，分为两个部分去创建此List,

       第一个如下加入Driver_memory参数

       第二个是通过buildSparkSubmitArgs方法构建的具体参数是MASTER，DEPLOY_MODE，FILES，CLASS等等，这些就和我们上面截图中是对应上的。是通过OptionParser方式获取到。

       那么到这里的话buildCommand就生成了一个完成sparksubmit参数的命令List

       而生成命令之后执行的任务开启点在org.apache.spark.deploy.SparkSubmit.scala

       继续往下剥洋葱SparkSubmit.scala代码入口如下：

       SparkSubmit，kill，request都支持，后两个方法知识支持standalone和Mesos集群方式下。dosubmit作为函数入口，其中第一步是初始化LOG，然后初始化解析参数涉及到类

       SparkSubmitArguments作为参数初始化类，继承SparkSubmitArgumentsParser类

       其中env是测试用的,参数解析如下，parse方法继承了SparkSubmitArgumentsParser解析函数查找 args 中设置的--选项和值并解析为 name 和 value ，如 --master yarn-client 会被解析为值为 --master 的 name 和值为 yarn-client 的 value 。

       这之后调用SparkSubmitArguments#handle(MASTER, "yarn-client")进行处理。

       这个函数也很简单，根据参数 opt 及 value，设置各个成员的值。接上例，parse 中调用 handle("--master", "yarn-client")后，在 handle 函数中，master 成员将被赋值为 yarn-client。

       回到SparkSubmit.scala通过SparkSubmitArguments生成了args，然后调用action来匹配动作是submit,kill,request_status,print_version。

       直接看submit的action，doRunMain执行入口

       其中prepareSubmitEnvironment初始化环境变量该方法返回一个四元 Tuple ，分别表示子进程参数、子进程 classpath 列表、系统属性 map 、子进程 main 方法。完成了提交环境的准备工作之后，接下来就将启动子进程。

       runMain则是执行入口，入参则是执行参数SparkSubmitArguments

       Main执行非常的简单：几个核心步骤

       先是打印一串日志（可忽略），然后是创建了loader是把依赖包jar全部导入到项目中

       然后是MainClass的生成，异常处理是ClassNotFoundException和NoClassDeffoundError

       再者是生成Application，根据MainClass生成APP,最后调用start执行

       具体执行是SparkApplication.scala，那么继续往下剥~

       仔细阅读下SparkApplication还是挺深的，所以打算另外写篇继续深入研读~