【程序员必备的源码】【256源码】【mobanbox源码】hadoop源码调试

2024-11-08 06:03:37 来源：开房网源码 分类：娱乐

1.如何在win7下的eclipse中调试Hadoop2.2.0的程序
2.如何用ollydbg调试delphi程序
3.hadoop和hadoop有什么区别？

hadoop源码调试

如何在win7下的eclipse中调试Hadoop2.2.0的程序

       åœ¨ä¸Šä¸€ç¯‡åšæ–‡ä¸­ï¼Œæ•£ä»™å·²ç»è®²äº†Hadoop的单机伪分布的部署，本篇，散仙就说下，如何eclipse中调试hadoop2.2.0,源码如果你使用的还是hadoop1.x的版本，那么，也没事，散仙在以前的博客里，也写过eclipse调试1.x的hadoop程序，两者最大的不同之处在于使用的eclipse插件不同，hadoop2.x与hadoop1.x的API，不太一致，所以插件也不一样，我们只需要使用分别对应的插件即可. 

       ä¸‹é¢å¼€å§‹è¿›å…¥æ­£é¢˜: 

       åºå·    åç§°    æè¿°    

       1    eclipse    Juno Service Release 4.2的本    

       2    æ“ä½œç³»ç»Ÿ    Windows7    

       3    hadoop的eclipse插件    hadoop-eclipse-plugin-2.2.0.jar    

       4    hadoop的集群环境    è™šæ‹ŸæœºLinux的Centos6.5单机伪分布式    

       5    è°ƒè¯•ç¨‹åº    Hellow World    

       é‡åˆ°çš„几个问题如下： 

       Java代码  

       java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.    

       è§£å†³åŠžæ³•: 

       åœ¨org.apache.hadoop.util.Shell类的checkHadoopHome()方法的返回值里写固定的 

       æœ¬æœºhadoop的路径，散仙在这里更改如下： 

       Java代码  

       private static String checkHadoopHome() {   

       // first check the Dflag hadoop.home.dir with JVM scope  

       //System.setProperty("hadoop.home.dir", "...");  

       String home = System.getProperty("hadoop.home.dir");  

       // fall back to the system/user-global env variable  

       if (home == null) {   

       home = System.getenv("HADOOP_HOME");  

       }  

       try {   

       // couldn't find either setting for hadoop's home directory  

       if (home == null) {   

       throw new IOException("HADOOP_HOME or hadoop.home.dir are not set.");  

       }  

       if (home.startsWith("\"") && home.endsWith("\"")) {   

       home = home.substring(1, home.length()-1);  

       }  

       // check that the home setting is actually a directory that exists  

       File homedir = new File(home);  

       if (!homedir.isAbsolute() || !homedir.exists() || !homedir.isDirectory()) {   

       throw new IOException("Hadoop home directory " + homedir  

       + " does not exist, is not a directory, or is not an absolute path.");  

       }  

       home = homedir.getCanonicalPath();  

       } catch (IOException ioe) {   

       if (LOG.isDebugEnabled()) {   

       LOG.debug("Failed to detect a valid hadoop home directory", ioe);  

       }  

       home = null;  

       }  

       //固定本机的hadoop地址  

       home="D:\\hadoop-2.2.0";  

       return home;  

       }  

       ç¬¬äºŒä¸ªå¼‚常，Could not locate executable D:\Hadoop\tar\hadoop-2.2.0\hadoop-2.2.0\bin\winutils.exe in the Hadoop binaries.  找不到win上的执行程序，可以去下载bin包，覆盖本机的hadoop跟目录下的bin包即可 

       ç¬¬ä¸‰ä¸ªå¼‚常： 

       Java代码  

       Exception in thread "main" java.lang.IllegalArgumentException: Wrong FS: hdfs://...:/user/hmail/output/part-, expected: file:///   

       at org.apache.hadoop.fs.FileSystem.checkPath(FileSystem.java:)   

       at org.apache.hadoop.fs.RawLocalFileSystem.pathToFile(RawLocalFileSystem.java:)   

       at org.apache.hadoop.fs.RawLocalFileSystem.getFileStatus(RawLocalFileSystem.java:)   

       at org.apache.hadoop.fs.FilterFileSystem.getFileStatus(FilterFileSystem.java:)   

       at org.apache.hadoop.fs.ChecksumFileSystem$ChecksumFSInputChecker.<init>(ChecksumFileSystem.java:)   

       at org.apache.hadoop.fs.ChecksumFileSystem.open(ChecksumFileSystem.java:)   

       at org.apache.hadoop.fs.FileSystem.open(FileSystem.java:)   

       at com.netease.hadoop.HDFSCatWithAPI.main(HDFSCatWithAPI.java:)   

       å‡ºçŽ°è¿™ä¸ªå¼‚常，一般是HDFS的路径写的有问题，解决办法，拷贝集群上的core-site.xml和hdfs-site.xml文件，放在eclipse的src根目录下即可。 

       ç¬¬å››ä¸ªå¼‚常： 

       Java代码  

       Exception in thread "main" java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z    

       å‡ºçŽ°è¿™ä¸ªå¼‚常，一般是由于HADOOP_HOME的环境变量配置的有问题，在这里散仙特别说明一下，如果想在Win上的eclipse中成功调试Hadoop2.2，就需要在本机的环境变量上，添加如下的环境变量： 

       ï¼ˆ1）在系统变量中，新建HADOOP_HOME变量，属性值为D:\hadoop-2.2.0.也就是本机对应的hadoop目录 

       (2)在系统变量的Path里，追加%HADOOP_HOME%/bin即可 

       ä»¥ä¸Šçš„问题，是散仙在测试遇到的，经过对症下药，我们的eclipse终于可以成功的调试MR程序了，散仙这里的Hellow World源码如下： 

       Java代码  

       package com.qin.wordcount;  

       import java.io.IOException;  

       import org.apache.hadoop.fs.FileSystem;  

       import org.apache.hadoop.fs.Path;  

       import org.apache.hadoop.io.IntWritable;  

       import org.apache.hadoop.io.LongWritable;  

       import org.apache.hadoop.io.Text;  

       import org.apache.hadoop.mapred.JobConf;  

       import org.apache.hadoop.mapreduce.Job;  

       import org.apache.hadoop.mapreduce.Mapper;  

       import org.apache.hadoop.mapreduce.Reducer;  

       import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;  

       import org.apache.hadoop.mapreduce.lib.input.TextInputFormat;  

       import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;  

       import org.apache.hadoop.mapreduce.lib.output.TextOutputFormat;  

       /*** 

       *  

       * Hadoop2.2.0测试 

       * æ”¾WordCount的例子 

       *  

       * @author qindongliang 

       *  

       * hadoop技术交流群：   

       *  

       *  

       * */  

       public class MyWordCount {   

       /** 

       * Mapper 

       *  

       * **/  

       private static class WMapper extends Mapper<LongWritable, Text, Text, IntWritable>{   

       private IntWritable count=new IntWritable(1);  

       private Text text=new Text();  

       @Override  

       protected void map(LongWritable key, Text value,Context context)  

       throws IOException, InterruptedException {   

       String values[]=value.toString().split("#");  

       //System.out.println(values[0]+"========"+values[1]);  

       count.set(Integer.parseInt(values[1]));  

       text.set(values[0]);  

       context.write(text,count);  

       }  

       }  

       /** 

       * Reducer 

       *  

       * **/  

       private static class WReducer extends Reducer<Text, IntWritable, Text, Text>{   

       private Text t=new Text();  

       @Override  

       protected void reduce(Text key, Iterable<IntWritable> value,Context context)  

       throws IOException, InterruptedException {   

       int count=0;  

       for(IntWritable i:value){   

       count+=i.get();  

       }  

       t.set(count+"");  

       context.write(key,t);  

       }  

       }  

       /** 

       * æ”¹åŠ¨ä¸€ 

       * (1)shell源码里添加checkHadoopHome的路径 

       * (2)行，FileUtils里面 

       * **/  

       public static void main(String[] args) throws Exception{   

       //      String path1=System.getenv("HADOOP_HOME");  

       //      System.out.println(path1);  

       //      System.exit(0);  

       JobConf conf=new JobConf(MyWordCount.class);  

       //Configuration conf=new Configuration();  

       //conf.set("mapred.job.tracker","...:");  

       //读取person中的数据字段  

       // conf.setJar("tt.jar");  

       //注意这行代码放在最前面，进行初始化，否则会报  

       /**Job任务**/  

       Job job=new Job(conf, "testwordcount");  

       job.setJarByClass(MyWordCount.class);  

       System.out.println("模式：  "+conf.get("mapred.job.tracker"));;  

       // job.setCombinerClass(PCombine.class);  

       // job.setNumReduceTasks(3);//设置为3  

       job.setMapperClass(WMapper.class);  

       job.setReducerClass(WReducer.class);  

       job.setInputFormatClass(TextInputFormat.class);  

       job.setOutputFormatClass(TextOutputFormat.class);  

       job.setMapOutputKeyClass(Text.class);  

       job.setMapOutputValueClass(IntWritable.class);  

       job.setOutputKeyClass(Text.class);  

       job.setOutputValueClass(Text.class);  

       String path="hdfs://...:/qin/output";  

       FileSystem fs=FileSystem.get(conf);  

       Path p=new Path(path);  

       if(fs.exists(p)){   

       fs.delete(p, true);  

       System.out.println("输出路径存在，已删除！");  

       }  

       FileInputFormat.setInputPaths(job, "hdfs://...:/qin/input");  

       FileOutputFormat.setOutputPath(job,p );  

       System.exit(job.waitForCompletion(true) ? 0 : 1);    

       }  

       }  

       æŽ§åˆ¶å°ï¼Œæ‰“印日志如下： 

       Java代码  

       INFO - Configuration.warnOnceIfDeprecated() | mapred.job.tracker is deprecated. Instead, use mapreduce.jobtracker.address  

       æ¨¡å¼ï¼š  local  

       è¾“出路径存在，已删除！  

       INFO - Configuration.warnOnceIfDeprecated() | session.id is deprecated. Instead, use dfs.metrics.session-id  

       INFO - JvmMetrics.init() | Initializing JVM Metrics with processName=JobTracker, sessionId=  

       WARN - JobSubmitter.copyAndConfigureFiles() | Hadoop command-line option parsing not performed. Implement the Tool interface and execute your application with ToolRunner to remedy this.  

       WARN - JobSubmitter.copyAndConfigureFiles() | No job jar file set.  User classes may not be found. See Job or Job#setJar(String).  

       INFO - FileInputFormat.listStatus() | Total input paths to process : 1  

       INFO - JobSubmitter.submitJobInternal() | number of splits:1  

       INFO - Configuration.warnOnceIfDeprecated() | user.name is deprecated. Instead, use mapreduce.job.user.name  

       INFO - Configuration.warnOnceIfDeprecated() | mapred.output.value.class is deprecated. Instead, use mapreduce.job.output.value.class  

       INFO - Configuration.warnOnceIfDeprecated() | mapred.mapoutput.value.class is deprecated. Instead, use mapreduce.map.output.value.class  

       INFO - Configuration.warnOnceIfDeprecated() | mapreduce.map.class is deprecated. Instead, use mapreduce.job.map.class  

       INFO - C

如何用ollydbg调试delphi程序

       ä¸‹è½½å¯¹åº”hadoop源代码，hadoop-2.5.5-src.tar.gz解压，hadoop-2.5.2-src\hadoop-common-project\hadoop-common\src\main\java\org\apache\hadoop\io\nativeio下NativeIO.java

       å¤åˆ¶åˆ°å¯¹åº”çš„Eclipse的project，然后修改public static boolean access(String path, AccessRight desiredAccess)方法返回值为return true！

hadoop和hadoop有什么区别？

       1、运行模式不同：

       单机模式是调试Hadoop的默认模式。这种模式在一台单机上运行，源码没有分布式文件系统，调试程序员必备的源码而是源码直接读写本地操作系统的文件系统。

       伪分布模式这种模式也是调试在一台单机上运行，但用不同的源码Java进程模仿分布式运行中的各类结点。

       2、调试配置不同：

       单机模式（standalone）首次解压Hadoop的源码源码包时，Hadoop无法了解硬件安装环境，调试便保守地选择了最小配置。源码256源码在这种默认模式下所有3个XML文件均为空。调试当配置文件为空时，源码Hadoop会完全运行在本地。调试

       伪分布模式在“单节点集群”上运行Hadoop，源码其中所有的mobanbox源码守护进程都运行在同一台机器上。

       3、节点交互不同：

       单机模式因为不需要与其他节点交互，单机模式就不使用HDFS，也不加载任何Hadoop的守护进程。该模式主要用于开发调试MapReduce程序的appmachine源码应用逻辑。

       伪分布模式在单机模式之上增加了代码调试功能，允许你检查内存使用情况，HDFS输入输出，以及其他的守护进程交互。

扩展资料：

       核心架构:

       1、mikufan源码HDFS：

       HDFS对外部客户机而言，HDFS就像一个传统的分级文件系统。可以创建、删除、移动或重命名文件，等等。存储在 HDFS 中的文件被分成块，然后将这些块复制到多个计算机中（DataNode）。这与传统的 RAID 架构大不相同。块的大小和复制的块数量在创建文件时由客户机决定。

       2、NameNode

       NameNode 是一个通常在 HDFS 实例中的单独机器上运行的软件。它负责管理文件系统名称空间和控制外部客户机的访问。NameNode 决定是否将文件映射到 DataNode 上的复制块上。

       3、DataNode

       DataNode 也是在 HDFS实例中的单独机器上运行的软件。Hadoop 集群包含一个 NameNode 和大量 DataNode。DataNode 通常以机架的形式组织，机架通过一个交换机将所有系统连接起来。Hadoop 的一个假设是：机架内部节点之间的传输速度快于机架间节点的传输速度。

       百度百科-Hadoop

本文地址：http://5o.net.cn/news/54d59399352.html 欢迎转发

热点文章

java社区源码_java论坛源码
java社区源码_java论坛源码
java社区源码_java论坛源码

重点关注