1.Webpack入门到精通 五（常用配置）
2.yarn源码分析（四）AppMaster启动
3.YARN源码剖析：NM启动过程
4.Spark源码解析2-YarnCluster模式启动
5.深入理解 Hadoop （七）YARN资源管理和调度详解
6.深入浅出 Yarn 架构与实现4-1 ResourceManager 功能概述

Webpack入门到精通 五（常用配置）

       为更好的源码阅读体验请移步掘金

       初始化项目

       在package.json中添加

       运行yarn build，即可看到当前打包好的图解dist.js文件

       使用webpack build支持IE，用babel-loader打包js

       安装babel-loader npm

       使用babel-loader打包jsx

       测试

       yarn build

       为webpack配置eslint

       eslint-config-react-app 包含Create React App使用的源码可共享 ESLint 配置。npm link

       让webpack可以感知到eslint的图解配置，从而在编译的源码过程中提示报错信息

       在没加eslint-webpack-plugin之前，尽管编辑器中eslint报错，图解淘宝优惠倦源码但在运行yarn build时，源码它仍能编译成功。图解如下图所示

       加完之后的源码情况，此时不仅eslint报错，图解webpack构建时也会在控制台报错，源码这样很好地使用了eslint

       使用babel-loader打包TypeScript

       参考babel官网

       添加一个test.tsx，图解并在index.js中引入，源码以下结果编译成功

       让eslint支持TypeScript

       让eslint支持ts，图解添加相关配置

       运行yarn build发现此时编译仍可成功

       修改后的源码效果

       使用babel-loader打包tsx

       生成tsconfig.json文件

       编写tsx-demo.tsx文件并在index.js中引入进行测试

       CRLF是什么？一、LF和CRLF是什么？二、LF和CRLF区别

       让js和ts支持@alias

       引入代码进行测试

       让webpack支持scss

       使用sass-loader npm

       scss自动导入全局文件，scss共享变量给js

       可以让项目中使用的css变量由同一份js和scss共同维护一份变量

       webpack支持less文件

       使用less-loader npm

       less共享给js，对比scss和less

       若要选择，则选择scss

       stylus文件

       使用stylus npm

       webpack config重构，生产页面单独提取css文件

       使用mini-css-extract-plugin webpack文档

       自动生成HTML页面

       使用html-webpack-plugin npm

       webpack优化：单独打包runtime

       单独打包runtime的原因

       webpack优化：使用splitChunks将node依赖单独打包

       在编译时缓存React等类库文件

       webpack优化：固定modules

       运行yarn build后，可以看到引入了三个js文件

       optimizationmoduleids

       webpack多页面

       webpack优化：common插件

       如果共有文件，则打包成一个文件；如果两个入口同时引用了一个文件，看这个打包后页面引入js的除夕快乐源码顺序

       无限多页面的实现思路

       只需将这两个参数设置为动态生成的即可满足要求。测试后大功告成！！！

       最后附上源代码链接

       其他文章

       一咻：Webpack入门到精通 五（常用配置）

       一咻：Webpack 入门到精通四 （插件）

       一咻：Webpack入门到精通 三（Loader原理）

       一咻：Webpack入门到精通 二（核心原理）

       一咻：Webpack入门到精通 一（AST、Babel、依赖）

yarn源码分析（四）AppMaster启动

       在容器分配完成之后，启动容器的代码主要在ContainerImpl.java中进行。通过状态机转换，container从NEW状态向其他状态转移时，会调用RequestResourceTransition对象。RequestResourceTransition负责将所需的资源进行本地化，或者避免资源本地化。若需本地化，还需过渡到LOCALIZING状态。为简化理解，此处仅关注是否进行资源本地化的情况。

       为了将LAUNCH_CONTAINER事件加入事件处理队列，调用了sendLaunchEvent方法。该事件由ContainersLauncher负责处理。ContainersLauncher的handle方法中，使用一个ExecutorService（线程池）容器Launcher。ContainerLaunch实现了Callable接口，其call方法生成并执行launch_container脚本。vfpapp源码查看以MapReduce框架为例，该脚本在hadoop.tmp.dir/application name/container name目录下生成，其主要作用是启动MRAppMaster进程，即MapReduce的ApplicationMaster。

YARN源码剖析：NM启动过程

       NodeManager初始化和启动过程主要涉及配置文件读取，资源信息配置，以及服务启动等步骤。重点在于初始化阶段，配置文件读取完成，包括关于节点资源信息的配置。

       启动NodeManager（NM）时，遵循与ResourceManager（RM）类似的逻辑，启动各个服务。关键在于nodeStatusUpdater模块。其中两个重要方法为registerWithRM()和startStatusUpdater()。这两个方法通过RPC远程调用ResourceManager中的两个接口：registerNodeManager()和nodeHeartbeat()。

       NM启动过程中添加的服务列表构成其核心功能描述。例如，NodeHealthCheckerService提供节点健康检查功能，包含两个子service：NodeHealthScriptRunner（使用配置的脚本进行健康检查）和LocalDirsHandlerService（检查磁盘健康状况）。此服务包含getHealthReport()方法，用于获取健康检查结果。

       NM中的AI采集源码关键类之一为NMContext，它作为组件间信息共享的接口。

       NM与RM之间的心跳通信是整个过程中不可或缺的部分，确保了资源管理系统的实时状态监控与资源分配协调。

       综上所述，NodeManager的启动过程涉及初始化配置、启动关键服务以及与ResourceManager的交互，实现资源管理和节点健康监控等功能。这一过程为YARN框架提供了稳定、高效的基础结构。

Spark源码解析2-YarnCluster模式启动

       YARN 模式运行机制主要体现在Yarn Cluster 模式和Yarn Client 模式上。在Yarn Cluster模式下，SparkSubmit、ApplicationMaster 和 CoarseGrainedExecutorBackend 是独立的进程，而Driver 是独立的线程；Executor 和 YarnClusterApplication 是对象。在Yarn Client模式下，SparkSubmit、ApplicationMaster 和 YarnCoarseGrainedExecutorBackend 也是独立的进程，而Executor和Driver是对象。

       在源码中，SparkSubmit阶段首先执行Spark提交命令，底层执行的是开启SparkSubmit进程的命令。代码中，SparkSubmit从main()开始，预测走势源码根据运行模式获取后续要反射调用的类名赋给元组中的ChildMainClass。如果是Yarn Cluster模式，则为YarnClusterApplication；如果是Yarn Client模式，则为主类用户自定义的类。接下来，获取ChildMainClass后，通过反射调用main方法的过程，反射获取类然后通过构造器获取一个示例并多态为SparkApplication，再调用它的start方法。随后调用YarnClusterApplication的start方法。在YarnClient中，new一个Client对象，其中包含了yarnClient = YarnClient.createYarnClient属性，这是Yarn在SparkSubmit中的客户端，yarnClient在第行初始化和开始，即连接Yarn集群或RM。之后就可以通过这个客户端与Yarn的RM进行通信和提交应用，即调用run方法。

       ApplicationMaster阶段主要涉及开启一个Driver新线程、AM向RM注册、AM向RM申请资源并处理、封装ExecutorBackend启动命令以及AM向NM通信提交命令由NM启动ExecutorBackend。在ApplicationMaster进程中，首先开启Driver线程，开始运行用户自定义代码，创建Spark程序入口SparkContext，接着创建RDD，生成job，划分阶段提交Task等操作。

       在申请资源之前，AM主线程创建了Driver的终端引用，作为参数传入createAllocator()，因为Executor启动后需要向Driver反向注册，所以启动过程必须封装Driver的EndpointRef。AM主线程向RM申请获取可用资源Container，并处理这些资源。ExecutorBackend阶段尚未完成，后续内容待补充。

深入理解 Hadoop （七）YARN资源管理和调度详解

       Hadoop最初为批处理设计，其资源管理与调度仅支持FIFO机制。然而，随着Hadoop的普及与用户量的增加，单个集群内的应用程序类型与数量激增，FIFO调度机制难以高效利用资源，也无法满足不同应用的服务质量需求，故需设计适用于多用户的资源调度系统。

       YARN采用双层资源调度模型：ResourceManager中的资源调度器分配资源给ApplicationMaster，由YARN决定；ApplicationMaster再将资源分配给内部任务Task，用户自定。YARN作为统一调度系统，满足调度规范的分布式应用皆可在其中运行，调度规范包括定义ApplicationMaster向RM申请资源，AM自行完成Container至Task分配。YARN采用拉模型实现异步资源分配，RM分配资源后暂存缓冲区，等待AM通过心跳获取。

       Hadoop-2.x版本中YARN提供三种资源调度器，分别为...

       YARN的队列管理机制包括用户权限管理与系统资源管理两部分。CapacityScheduler的核心特点包括...

       YARN的更多理解请参考官方文档：...

       在分布式资源调度系统中，资源分配保证机制常见有...

       YARN采用增量资源分配，避免浪费但不会出现资源饿死现象。YARN默认资源分配算法为DefaultResourceCalculator，专注于内存调度。DRF算法将最大最小公平算法应用于主资源上，解决多维资源调度问题。实例分析中，系统中有9个CPU和GB RAM，两个用户分别运行两种任务，所需资源分别为...

       资源抢占模型允许每个队列设定最小与最大资源量，以确保资源紧缺与极端情况下的需求。资源调度器在负载轻队列空闲时会暂时分配资源给负载重队列，仅在队列突然收到新提交应用程序时，调度器将资源归还给该队列，避免长时间等待。

       YARN最初采用平级队列资源管理，新版本改用层级队列管理，优点包括...

       CapacityScheduler配置文件capacity-scheduler.xml包含资源最低保证、使用上限与用户资源限制等参数。管理员修改配置文件后需运行"yarn rmadmin -refreshQueues"。

       ResourceScheduler作为ResourceManager中的关键组件，负责资源管理和调度，采用可插拔策略设计。初始化、接收应用和资源调度等关键功能实现，RM收到NodeManager心跳信息后，向CapacityScheduler发送事件，调度器执行一系列操作。

       CapacityScheduler源码解读涉及树型结构与深度优先遍历算法，以保证队列优先级。其核心方法包括...

       在资源分配逻辑中，用户提交应用后，AM申请资源，资源表示为Container，包含优先级、资源量、容器数目等信息。YARN采用三级资源分配策略，按队列、应用与容器顺序分配空闲资源。

       对比FairScheduler，二者均以队列为单位划分资源，支持资源最低保证、上限与用户限制。最大最小公平算法用于资源分配，确保资源公平性。

       最大最小公平算法分配示意图展示了资源分配过程与公平性保证。

深入浅出 Yarn 架构与实现4-1 ResourceManager 功能概述

       深入浅出 Yarn 架构与实现，本文将重点介绍 ResourceManager（RM）的功能概述与架构解析。

一、RM 基本职能

       RM 主要承担集群管理、任务调度、状态机管理等功能，通过与各 Client 的 RPC 通信实现「Pull 模型」，定期接收 Client 心跳并下达指令。

二、RM 内部架构

       RM 内部包含用户交互、NM 管理、AM 管理、Application 管理、状态机管理、安全管理与资源分配等多个模块。架构设计采用事件驱动机制，通过中央异步调度器整合不同组件。

三、RM 事件与事件处理器

       Yarn 的事件驱动机制中，RM 作为核心组件，通过事件交互实现高效并行系统。组件间通过事件通信协同工作。

四、小结

       ResourceManager 在 YARN 中扮演核心角色，负责资源统一管理和分配。本文对 RM 的职能、架构、事件处理进行了概述，后续文章将深入源码，对各个部分进行更详细的解析。