皮皮网

1.【工具】Datax的源码基本概念（初识ETL工具）
2.大数据技术之Datax
3.如何在MaxCompute上运行HadoopMR作业

【工具】Datax的基本概念（初识ETL工具）

       ETL技术的实质是将数据经过抽取、清洗转换之后加载到数据仓库的源码过程。DataX是源码由阿里巴巴研发并开源的异构数据源离线同步工具，能实现不同数据源之间的源码数据同步，包括关系型数据库、源码NoSQL数据存储、源码rust编程源码讲解无结构化数据存储、源码时间序列数据库以及阿里的源码云数仓数据存储。DataX是源码阿里云DataWorks数据集成的开源版本，用于在阿里巴巴集团内广泛使用的源码离线数据同步工具/平台，支持包括MySQL、源码Oracle、源码2017电影网站源码OceanBase、源码SqlServer、源码Postgre、源码HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、Hologres、DRDS等各种异构数据源之间的小说阅读器app源码高效数据同步。

       DataX采用Framework + plugin的架构，数据同步步骤将数据的读取、写入操作抽象为由Reader/Writer插件处理，纳入整个同步框架。其核心组件包括Job、Task、Channel以及Transformer。

       Job代表数据同步任务；Task代表运行一个单独的同步线程，该线程使用一个Channel作为Reader与Writer的数据传输媒介；数据流转方向为Reader—>Channel—>Writer。

       Transformer模式提供强大的数据转换功能，DataX内置丰富数据转换实现类，得胜28网站源码用户可根据自身需求扩展数据转换。

       DataX的安装部署可选择直接下载工具包或下载源码自主编译。下载后解压至本地目录即可运行同步作业。自检脚本为：python { YOUR_DATAX_HOME}/bin/datax.py { YOUR_DATAX_HOME}/job/job.json。

       若数据源同步遇到格式不匹配问题，可以修改相应的reader与writer代码，然后maven编译，后续会提供具体源码修改示例。

       DataX的源码可在gitee上找到，以解决github地址在国内可能存在的连接问题。参考网址提供了更多关于ETL工具-Datax的电商网站源码知乎资源。

大数据技术之Datax

       分享大数据技术之Datax的使用与特性，旨在解决大数据生产环境中的数据同步需求。Datax是阿里巴巴开源的异构数据源离线同步工具，支持多种数据源之间的数据同步，包括关系型数据库、HDFS、Hive、ODPS、HBase、FTP等。

       Datax的核心设计思路是将复杂的同步链路转变为星型数据链路，作为中间传输载体实现数据同步。采用Framework + plugin架构，将数据源读取和写入抽象为Reader/Writer插件，使得框架负责内部的序列化传输、缓冲、并发、转换等，而数据采集和落地核心操作则由插件执行。

       Datax拥有全面的插件体系，支持主流数据库、NoSQL、大数据计算系统等，提供丰富的数据源参考指南。单个数据同步作业由Job模块管理，启动进程完成整个同步过程。Job模块负责数据清理、子任务切分、TaskGroup管理等，将单一作业拆分为多个Task并行执行。每个Task由TaskGroup启动，执行Reader-Channel-Writer线程完成同步任务。

       Datax快速入门指南提供下载地址和源码地址，需满足前置要求并完成安装。类图展示了Datax的启动流程，包括解析配置、设置参数、启动Engine、初始化reader和writer插件、切分任务、执行任务等步骤。Datax-web是基于Datax开发的分布式数据同步工具，提供用户界面，简化任务配置，支持多种数据源，提供同步进度、日志查看及终止功能，并集成时间、增量同步功能。

       Datax-web的搭建教程可在官网找到，如遇疑问可直接联系作者。Datax与Datax-web结合使用，能够实现大数据采集模块的自动化和高效同步，减少开发成本。

       以上内容仅为Datax技术概览，更多深入细节和实践案例将在后续文章中分享。希望读者在大数据领域取得成就，收获满满。我是脚丫先生，期待与您下期再见。

如何在MaxCompute上运行HadoopMR作业

       MaxCompute（原ODPS）有一套自己的MapReduce编程模型和接口，简单说来，这套接口的输入输出都是MaxCompute中的Table，处理的数据是以Record为组织形式的，它可以很好地描述Table中的数据处理过程，然而与社区的Hadoop相比，编程接口差异较大。Hadoop用户如果要将原来的Hadoop MR作业迁移到MaxCompute的MR执行，需要重写MR的代码，使用MaxCompute的接口进行编译和调试，运行正常后再打成一个Jar包才能放到MaxCompute的平台来运行。这个过程十分繁琐，需要耗费很多的开发和测试人力。如果能够完全不改或者少量地修改原来的Hadoop MR代码就能在MaxCompute平台上跑起来，将是一个比较理想的方式。

       çŽ°åœ¨MaxCompute平台提供了一个HadoopMR到MaxCompute MR的适配工具，已经在一定程度上实现了Hadoop MR作业的二进制级别的兼容，即用户可以在不改代码的情况下通过指定一些配置，就能将原来在Hadoop上运行的MR jar包拿过来直接跑在MaxCompute上。目前该插件处于测试阶段，暂时还不能支持用户自定义comparator和自定义key类型，下面将以WordCount程序为例，介绍一下这个插件的基本使用方式。

       ä½¿ç”¨è¯¥æ’件在MaxCompute平台跑一个HadoopMR作业的基本步骤如下：

       1. 下载HadoopMR的插件

       ä¸‹è½½æ’件，包名为hadoop2openmr-1.0.jar，注意，这个jar里面已经包含hadoop-2.7.2版本的相关依赖，在作业的jar包中请不要携带hadoop的依赖，避免版本冲突。

       2. 准备好HadoopMR的程序jar包

       ç¼–译导出WordCount的jar包：wordcount_test.jar ，wordcount程序的源码如下:

       package com.aliyun.odps.mapred.example.hadoop;

       import org.apache.hadoop.conf.Configuration;

       import org.apache.hadoop.fs.Path;

       import org.apache.hadoop.io.IntWritable;

       import org.apache.hadoop.io.Text;

       import org.apache.hadoop.mapreduce.Job;

       import org.apache.hadoop.mapreduce.Mapper;

       import org.apache.hadoop.mapreduce.Reducer;

       import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;

       import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

       import java.io.IOException;

       import java.util.StringTokenizer;

       public class WordCount {

       public static class TokenizerMapper

       extends Mapper<Object, Text, Text, IntWritable>{

       private final static IntWritable one = new IntWritable(1);

       private Text word = new Text();

       public void map(Object key, Text value, Context context

       ) throws IOException, InterruptedException {

       StringTokenizer itr = new StringTokenizer(value.toString());

       while (itr.hasMoreTokens()) {

       word.set(itr.nextToken());

       context.write(word, one);

       }

       }

       }

       public static class IntSumReducer

       extends Reducer<Text,IntWritable,Text,IntWritable> {

       private IntWritable result = new IntWritable();

       public void reduce(Text key, Iterable<IntWritable> values,

       Context context

       ) throws IOException, InterruptedException {

       int sum = 0;

       for (IntWritable val : values) {

       sum += val.get();

       }

       result.set(sum);

       context.write(key, result);

       }

       }

       public static void main(String[] args) throws Exception {

       Configuration conf = new Configuration();

       Job job = Job.getInstance(conf, "word count");

       job.setJarByClass(WordCount.class);

       job.setMapperClass(TokenizerMapper.class);

       job.setCombinerClass(IntSumReducer.class);

       job.setReducerClass(IntSumReducer.class);

       job.setOutputKeyClass(Text.class);

       job.setOutputValueClass(IntWritable.class);

       FileInputFormat.addInputPath(job, new Path(args[0]));

       FileOutputFormat.setOutputPath(job, new Path(args[1]));

       System.exit(job.waitForCompletion(true) ? 0 : 1);

       }

       }

       3. 测试数据准备

       åˆ›å»ºè¾“入表和输出表

       create table if not exists wc_in(line string);

       create table if not exists wc_out(key string, cnt bigint);

       é€šè¿‡tunnel将数据导入输入表中

       å¾…导入文本文件data.txt的数据内容如下：

       hello maxcompute

       hello mapreduce

       ä¾‹å¦‚可以通过如下命令将data.txt的数据导入wc_in中，

       tunnel upload data.txt wc_in;

       4. 准备好表与hdfs文件路径的映射关系配置

       é…ç½®æ–‡ä»¶å‘½åä¸ºï¼šwordcount-table-res.conf

       {

       "file:/foo": {

       "resolver": {

       "resolver": "c.TextFileResolver",

       "properties": {

       "text.resolver.columns.combine.enable": "true",

       "text.resolver.seperator": "\t"

       }

       },

       "tableInfos": [

       {

       "tblName": "wc_in",

       "partSpec": { },

       "label": "__default__"

       }

       ],

       "matchMode": "exact"

       },

       "file:/bar": {

       "resolver": {

       "resolver": "openmr.resolver.BinaryFileResolver",

       "properties": {

       "binary.resolver.input.key.class" : "org.apache.hadoop.io.Text",

       "binary.resolver.input.value.class" : "org.apache.hadoop.io.LongWritable"

       }

       },

       "tableInfos": [

       {

       "tblName": "wc_out",

       "partSpec": { },

       "label": "__default__"

       }

       ],

       "matchMode": "fuzzy"

       }

       }