皮皮网

1.yarn源码分析（四）AppMaster启动
2.3、码分MapReduce详解与源码分析
3.如何分布式运行mapreduce程序
4.MapReduce源码解析之Mapper

yarn源码分析（四）AppMaster启动

       在容器分配完成之后，码分启动容器的码分代码主要在ContainerImpl.java中进行。通过状态机转换，码分container从NEW状态向其他状态转移时，码分会调用RequestResourceTransition对象。码分易语言旋转源码RequestResourceTransition负责将所需的码分资源进行本地化，或者避免资源本地化。码分若需本地化，码分还需过渡到LOCALIZING状态。码分为简化理解，码分此处仅关注是码分否进行资源本地化的情况。

       为了将LAUNCH_CONTAINER事件加入事件处理队列，码分调用了sendLaunchEvent方法。码分该事件由ContainersLauncher负责处理。码分汽车租贷系统源码ContainersLauncher的handle方法中，使用一个ExecutorService（线程池）容器Launcher。ContainerLaunch实现了Callable接口，其call方法生成并执行launch_container脚本。以MapReduce框架为例，该脚本在hadoop.tmp.dir/application name/container name目录下生成，其主要作用是启动MRAppMaster进程，即MapReduce的ApplicationMaster。

3、MapReduce详解与源码分析

       文章目录

       1

       Split阶段

       在MapReduce的流程中，Split阶段是将输入文件根据指定大小（默认MB）切割成多个部分，每个部分称为一个split。split的大小由minSize、maxSize、app美化影视源码blocksize决定。以wordcount代码为例，split数量由FileInputFormat的getSplits方法确定，返回值即为mapper的数量。默认情况下，mapper的数量是文件大小除以block大小。此步骤由FileInputFormat的子类TextInputFormat完成，它负责将输入文件分割为InputSplit，从而决定mapper的数量。

       2

       Map阶段

       每个map task在执行过程中，会有内存缓冲区用于存储处理结果，缓冲区大小默认为MB，超过MB阈值时，数据将被写入磁盘作为临时文件，牌友联盟源码组件最后将所有临时文件合并为最终输出。在写入过程中，数据将被分区、排序、并执行combine操作，以优化数据处理效率。

       2.1

       分区

       MapReduce自带的分区器HashPartitioner将数据按照key值进行分区，确保数据均匀分布在reduce task之间。

       2.2

       排序

       在完成分区后，数据会按照key值进行排序，以便后续的Shuffle阶段能够高效地将相同key值的数据汇聚到一起。

       3

       Shuffle阶段

       Shuffle阶段是MapReduce的核心，负责数据从map task输出到reduce task输入的过程。reduce task会根据自己的简心授权源码分区号从各个map task中获取相应数据分区，之后会对这些文件进行合并（归并排序），将相同key值的数据汇聚到一起，为reduce阶段做好准备。

       4

       Reduce阶段

       Reduce阶段分为抓取、合并、排序三个步骤。reduce task创建并行抓取线程，通过HTTP协议从完成的map task中获取结果文件。抓取的数据先保存在内存中，超过内存大小时，数据将被溢写到磁盘。合并后的数据将按照key值排序，最终交给reduce函数进行计算，形成有序的计算结果。

       调节Reduce任务数量

       在处理大数据量时，调节Reduce任务数量是优化MapReduce性能的关键。如果设置过低，会导致节点资源闲置，效率低下。通常情况下，将Reduce任务设置为一个较大的值（最大值为），以充分利用资源。调节方法在于合理设置reduce task的数量，避免资源浪费，同时保证计算的高效性。

如何分布式运行mapreduce程序

       ä¸€ã€ 首先要知道此前提 转载

       ã€€ã€€è‹¥åœ¨windows的Eclipse工程中直接启动mapreduc程序，需要先把hadoop集群的配置目录下的xml都拷贝到src目录下，让程序自动读取集群的地址后去进行分布式运行(您也可以自己写java代码去设置job的configuration属性)。

       ã€€ã€€è‹¥ä¸æ‹·è´ï¼Œå·¥ç¨‹ä¸­bin目录没有完整的xml配置文件，则windows执行的mapreduce程序全部通过本机的jvm执行，作业名也是带有“local"字眼的作业，如 job_local_。 这不是真正的分布式运行mapreduce程序。

       ã€€ã€€ä¼°è®¡å¾—研究org.apache.hadoop.conf.Configuration的源码，反正xml配置文件会影响执行mapreduce使用的文件系统是本机的windows文件系统还是远程的hdfs系统; 还有影响执行mapreduce的mapper和reducer的是本机的jvm还是集群里面机器的jvm

       ã€€ã€€äºŒã€ 本文的结论

       ã€€ã€€ç¬¬ä¸€ç‚¹å°±æ˜¯ï¼š windows上执行mapreduce，必须打jar包到所有slave节点才能正确分布式运行mapreduce程序。（有个需求是要windows上触发一个mapreduce分布式运行）

       ã€€ã€€ç¬¬äºŒç‚¹å°±æ˜¯ï¼š Linux上，只需拷贝jar文件到集群master上,执行命令hadoop jarPackage.jar MainClassName即可分布式运行mapreduce程序。

       ã€€ã€€ç¬¬ä¸‰ç‚¹å°±æ˜¯ï¼š 推荐使用附一，实现了自动打jar包并上传，分布式执行的mapreduce程序。

       ã€€ã€€é™„一、 推荐使用此方法：实现了自动打jar包并上传，分布式执行的mapreduce程序：

       ã€€ã€€è¯·å…ˆå‚考博文五篇：

       ã€€ã€€Hadoop作业提交分析（一）~~（五）

       ã€€ã€€å¼•ç”¨åšæ–‡çš„附件中EJob.java到工程中，然后main中添加如下方法和代码。

       ã€€ã€€public static File createPack() throws IOException {

       ã€€ã€€File jarFile = EJob.createTempJar("bin");

       ã€€ã€€ClassLoader classLoader = EJob.getClassLoader();

       ã€€ã€€Thread.currentThread().setContextClassLoader(classLoader);

       ã€€ã€€return jarFile;

       ã€€ã€€}

       ã€€ã€€åœ¨ä½œä¸šå¯åŠ¨ä»£ç ä¸­ä½¿ç”¨æ‰“包：

       ã€€ã€€Job job = Job.getInstance(conf, "testAnaAction");

       ã€€ã€€æ·»åŠ ï¼š

       ã€€ã€€String jarPath = createPack().getPath();

       ã€€ã€€job.setJar(jarPath);

       ã€€ã€€å³å¯å®žçŽ°ç›´æŽ¥run as java application 在windows跑分布式的mapreduce程序，不用手工上传jar文件。

       ã€€ã€€é™„二、得出结论的测试过程

       ã€€ã€€ï¼ˆæœªæœ‰ç©ºçœ‹ä¹¦ï¼Œåªèƒ½é€šè¿‡æ„šç¬¨çš„测试方法得出结论了）

       ã€€ã€€ä¸€. 直接通过windows上Eclipse右击main程序的java文件，然后"run as application"或选择hadoop插件"run on hadoop"来触发执行MapReduce程序的测试。

       ã€€ã€€1，如果不打jar包到进集群任意linux机器上，它报错如下：

       ã€€ã€€[work] -- ::, - org.apache.hadoop.mapreduce.Job - [main] INFO org.apache.hadoop.mapreduce.Job - map 0% reduce 0%

       ã€€ã€€[work] -- ::, - org.apache.hadoop.mapreduce.Job - [main] INFO org.apache.hadoop.mapreduce.Job - Task Id : attempt___m__0, Status : FAILED

       ã€€ã€€Error: java.lang.RuntimeException: java.lang.ClassNotFoundException: Class bookCount.BookCount$BookCountMapper not found

       ã€€ã€€at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:)

       ã€€ã€€at org.apache.hadoop.mapreduce.task.JobContextImpl.getMapperClass(JobContextImpl.java:)

       ã€€ã€€at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:)

       ã€€ã€€at org.apache.hadoop.mapred.MapTask.run(MapTask.java:)

       ã€€ã€€at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:)

       ã€€ã€€at java.security.AccessController.doPrivileged(Native Method)

       ã€€ã€€at javax.security.auth.Subject.doAs(Subject.java:)

       ã€€ã€€at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:)

       ã€€ã€€at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:)

       ã€€ã€€Caused by: java.lang.ClassNotFoundException: Class bookCount.BookCount$BookCountMapper not found

       ã€€ã€€at org.apache.hadoop.conf.Configuration.getClassByName(Configuration.java:)

       ã€€ã€€at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:)

       ã€€ã€€... 8 more

       ã€€ã€€# Error:后重复三次

       ã€€ã€€-- ::, - org.apache.hadoop.mapreduce.Job - [main] INFO org.apache.hadoop.mapreduce.Job - map % reduce %

       ã€€ã€€çŽ°è±¡å°±æ˜¯ï¼šæŠ¥é”™ï¼Œæ— è¿›åº¦ï¼Œæ— è¿è¡Œç»“果。

       ã€€ã€€

       ã€€ã€€2，拷贝jar包到“只是”集群master的$HADOOP_HOME/share/hadoop/mapreduce/目录上，直接通过windows的eclipse "run as application"和通过hadoop插件"run on hadoop"来触发执行，它报错同上。

       ã€€ã€€çŽ°è±¡å°±æ˜¯ï¼šæŠ¥é”™ï¼Œæ— è¿›åº¦ï¼Œæ— è¿è¡Œç»“果。

       ã€€ã€€3，拷贝jar包到集群某些slave的$HADOOP_HOME/share/hadoop/mapreduce/目录上，直接通过windows的eclipse "run as application"和通过hadoop插件"run on hadoop"来触发执行

       ã€€ã€€å’ŒæŠ¥é”™ï¼š

       ã€€ã€€Error: java.lang.RuntimeException: java.lang.ClassNotFoundException: Class bookCount.BookCount$BookCountMapper not found

       ã€€ã€€at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:)

       ã€€ã€€at org.apache.hadoop.mapreduce.task.JobContextImpl.getMapperClass(JobContextImpl.java:)

       ã€€ã€€å’ŒæŠ¥é”™ï¼š

       ã€€ã€€Error: java.lang.RuntimeException: java.lang.ClassNotFoundException: Class bookCount.BookCount$BookCountReducer not found

       ã€€ã€€

       ã€€ã€€çŽ°è±¡å°±æ˜¯ï¼šæœ‰æŠ¥é”™ï¼Œä½†ä»ç„¶æœ‰è¿›åº¦ï¼Œæœ‰è¿è¡Œç»“果。

MapReduce源码解析之Mapper

       MapReduce，大数据领域的标志性计算模型，由Google公司研发，其核心概念"Map"与"Reduce"简明易懂却威力巨大，打开了大数据时代的大门。对于许多大数据工作者来说，MapReduce是基础技能之一，而源码解析更是深入理解与实践的必要途径。

       MapReduce由两部分组成：Map与Reduce。Map阶段通过映射函数将一组键值对转换成另一组键值对，而Reduce阶段则负责合并这些新的键值对。这种并行计算模型极大地提高了大数据处理的效率。

       本文将聚焦于Map阶段的核心实现——Mapper。通过解析Mapper类及其子类的源码，我们可以更深入地理解MapReduce的工作机制，并在易观千帆等技术数据处理中发挥更大的效能。

       Mapper类内部包含四个关键方法与一个抽象类：

       setup()：主要为map()方法做准备，例如加载配置文件、传递参数。

       cleanup()：用于清理资源，如关闭文件、处理Key-Value。

       map()：程序的逻辑核心，对输入的文本进行处理（如分割、过滤），以键值对的形式写入context。

       run()：驱动Mapper执行的主方法，按照预设顺序执行setup()、map()、cleanup()。

       Context抽象类扮演着重要角色，用于跟踪任务状态和数据存储，如在setup()中读取配置信息，并作为Key-Value载体。

       下面是几个Mapper子类的详细解析：

       InverseMapper：将键值对反转，适用于不同需求的统计分析。

       TokenCounterMapper：使用StringTokenizer对文本进行分割，计算特定token的数量，适用于词频统计等。

       RegexMapper：对文本进行正则化处理，适用于特定格式文本的统计。

       MultithreadedMapper：利用多线程执行Mapper任务，提高CPU利用率，适用于并发处理。

       本文对MapReduce中Mapper及其子类的源码进行了详尽解析，旨在帮助开发者更深入地理解MapReduce的实现机制。后续将探讨更多关键类源码，以期为大数据处理提供更深入的洞察与实践指导。