`
逸情公子
  • 浏览: 899506 次
  • 性别: Icon_minigender_1
  • 来自: 长沙
社区版块
存档分类
最新评论

Hadoop作业提交多种方案具体流程详解

阅读更多

                                          Hadoop作业提交多种方案具体流程详解

前言:

提交hadoop作业时我们遇到了许多的问题,在网上也查过许多的文章,有许多对hadoop提交作业原理进行分析的文章,却总看不到对具体操作过程讲解的文章,导致我们在eclipse提交的作业总是在eclipse虚拟的云环境中运行。慢慢摸索中,一个一个的作业提交方法被我们发现,呵呵,现在总结一下吧。

方案:

1、用命令行方式提交
2、在eclipse中提交作业
3、采用eclipse的插件实现项目的提交

方案一:用命令行方式提交

前提:成功搭建一个hadoop集群,或成功部署一个伪分布式,并启动hadoop。

提交过程:

1、在eclipse中将我们的项目打成一个jar包,放到hadoop的安装目录下。

2、在命令行中提交作业,这里以hadoop自带的wordcount程序为例:

(1)将统计文件传到hdfs,如图(1)

 

 

(2)向云提交作业,如图(2)

 

 

提交作业时,如果遇到错误:Name node in safe mode,可采用下面的解决方法,如图(3)

 

 

(3)列出hdfs上输出文件夹下的文件,如图(4)

 

 

(4)在命令行中打印统计好的结果,如图(5)

 

 

(注:在命令行中提交作业是按hadoop/conf下的配置文件提交的)

方案二:在eclipse中提交作业

前提:

1、在你的电脑上安装好eclipse,可以在linux下,也可以在windows环境下哦~,这里需要指出的是:提交作业的机器只要有hadoop的API就可以了,和提交作业的机器所处的环境无关。

2、成功搭建一个hadoop集群,或成功部署一个伪分布式,并启动hadoop。

提交过程:

1、在eclipse下建立一个mapreduce项目,导入hadoop的API(hadoop/lib下的包)。

这里直接从外部导入hadoop中自带的wordcount程序。为了可以直接“Run java Aplication”我修改了一点wordcount的代码,使其输入输出文件的地址直接在代码中设置。贴出代码如下:


wordcount.java:

package org.apache.hadoop.examples;

import java.io.IOException;
import java.util.StringTokenizer;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

public class WordCount {
//mapper类
  public static class TokenizerMapper 
       extends Mapper<Object, Text, Text, IntWritable>{
    
    private final static IntWritable one = new IntWritable(1);
    private Text word = new Text();
      
    public void map(Object key, Text value, Context context
                    ) throws IOException, InterruptedException {
      StringTokenizer itr = new StringTokenizer(value.toString());
      while (itr.hasMoreTokens()) {
        word.set(itr.nextToken());
        context.write(word, one);
      }
    }
  }
  
//reducer类
  public static class IntSumReducer 
       extends Reducer<Text,IntWritable,Text,IntWritable> {
    private IntWritable result = new IntWritable();

    public void reduce(Text key, Iterable<IntWritable> values, 
                       Context context
                       ) throws IOException, InterruptedException {
      int sum = 0;
      for (IntWritable val : values) {
        sum += val.get();
      }
      result.set(sum);
      context.write(key, result);
    }
  }
   public static void main(String[] args) throws Exception {
    Configuration conf = new Configuration();
  
    Job job = new Job(conf, "word count");
    job.setJarByClass(WordCount.class);
    job.setMapperClass(TokenizerMapper.class);
    job.setCombinerClass(IntSumReducer.class);
    job.setReducerClass(IntSumReducer.class);
    job.setOutputKeyClass(Text.class);
    job.setOutputValueClass(IntWritable.class);
    FileInputFormat.addInputPath(job, new Path("/home/hadoop/testin"));
    FileOutputFormat.setOutputPath(job, new Path("/home/hadoop/testout"));
    
    System.exit(job.waitForCompletion(true) ? 0 : 1);
  
     }
}
 

 

 如果此时你run java aplication,呵呵,你的程序只会在eclipse中虚拟的一个云环境中运行,而不会跑上云端去运行哦。我们一帮人在这个问题上纠结了好长时间。如果你想在云端运行,需要在main方法中添加几行代码,代码附录如下:

 

    //在你的文件地址前自动添加:hdfs://master:9000/
    conf.set("fs.default.name", "hdfs://master:9000/");
    conf.set("hadoop.job.user","xiaolu");  
    //指定jobtracker的ip和端口号,master在/etc/hosts中可以配置
    conf.set("mapred.job.tracker","master:9001");
 

(注:如果你运行的不是master上也有的项目,比如自己实现的pagerank,那会报错如下:)

 

java.lang.RuntimeException: java.lang.ClassNotFoundException: *.PRMapper

 

这时会报找不到Mapper类的错。呵呵,这个问题也卡了我们好长时间。我们分析:可能是没有将项目打包,导致云上没有mapreduce程序的缘故,我们尝试着将pagerank项目打成.jar文件,放在项目下,将main方法作出如下修改:

 

        //将Configuration类换成JobConf类
	 JobConf conf = new JobConf();
	//设置jar
	conf.setJar("pagerank.jar");

 

这时运行java aplication ,呵呵,结果我们成功地将作业提交到了云端。(在浏览器中浏览:master:50030)

方案三:采用eclipse的插件实现项目的提交

前提:在eclipse中成功地安装mapreduce插件。

不过需要提醒各位的是:hadoop-0.20.203.0版本自带的插件不够完整,需要作出如下修改:

1、将HADOOP_HOME/lib目录下的 commons-configuration-1.6.jar , commons-httpclient-3.0.1.jar , commons-lang-2.4.jar , jackson-core-asl-1.0.1.jar 和 jackson-mapper-asl-1.0.1.jar 等5个包复制到hadoop-eclipse-plugin-0.20.203.0.jar的lib目录下。

2、然后,修改该包META-INF目录下的MANIFEST.MF,将classpath修改为以下内容:

 

Bundle-ClassPath: classes/,lib/hadoop-core.jar,lib/commons-cli-1.2.jar,lib/commons-httpclient-3.0.1.jar,lib/jackson-core-asl-1.0.1.jar,lib/jackson-mapper-asl-1.0.1.jar,lib/commons-configuration-1.6.jar,lib/commons-lang-2.4.jar

 

(注:这样就完成了对hadoop-eclipse-plugin-0.20.203.0.jar的修改。如果还有其它的问题,比如Map/Reduce Locations下添加一个Location不能弹出添加对话框,这是eclipse版本的问题,我建议大家采用eclipse的版本是:eclipse-java-indigo-SR1-linux-gtk.tar.gz。)

提交过程:

1、不用手动将项目打成jar包,run on Hadoop就OK了。呵呵~

 

 

 

 

  • 大小: 16.8 KB
  • 大小: 7.6 KB
  • 大小: 12.9 KB
  • 大小: 39.5 KB
  • 大小: 13.9 KB
6
0
分享到:
评论
8 楼 heipacker 2013-07-27  
第三种方式好像也不能在真正的集群上运行! 也是一个虚拟的!
我运行的日志:
13/07/27 23:22:39 INFO mapred.LocalJobRunner: hdfs://localhost:49002/user/hadoop/grep-temp-439886061/part-00000:0+107
13/07/27 23:22:39 INFO mapred.LocalJobRunner: hdfs://localhost:49002/user/hadoop/grep-temp-439886061/part-00000:0+107
13/07/27 23:22:39 INFO mapred.Task: Task 'attempt_local_0002_m_000000_0' done.
13/07/27 23:22:39 INFO mapred.Task:  Using ResourceCalculatorPlugin : org.apache.hadoop.util.LinuxResourceCalculatorPlugin@7787ee
13/07/27 23:22:39 INFO mapred.LocalJobRunner:

会出现LocalJobRunner
7 楼 heipacker 2013-07-22  
diyunpeng 写道
楼主写的真的很好,我自己也在研究hadoop么,可惜一个人力量太薄弱了。只有看网络才能学到知识啊。哈~

同感哦
6 楼 skydazzle 2013-07-18  
方案三:采用eclipse的插件实现项目的提交  , 还是找不到class 。
5 楼 依夜轻舟 2013-07-18  
我是用eclipse中安装插件的方法,但是当run on hadoop时50030页面没有作业信息,但结果还是有的,这是为什么??
4 楼 逸情公子 2012-11-06  
引用
在进行方法2和方法3的时候提交的任务,在浏览器中访问master:50030有看到提交的任务的信息吗?我是没有看到监控信息的。

如果没看到,可能你的操作出现了点问题,或者你可以在hadoop目录下找一找这个网页,具体的路径我不太记得了,找到后直接打开也可以看到的。
3 楼 爱岩修 2012-11-05  
在进行方法2和方法3的时候提交的任务,在浏览器中访问master:50030有看到提交的任务的信息吗?我是没有看到监控信息的。
2 楼 lpingxh 2012-08-22  
问个问题:
关于hadoop用户权限的,hadoop在客户端默认是用系统用户去跑mapreduce任务,如果我开发环境(比如在windowns下边)系统的用户和起hadoop的用户名不一样,通过您上边写的 第二种和第三种方式运行程序都会出现如下错误:  org.apache.hadoop.security.AccessControlException: Permission denied: user=xxx, access=WRITE, inode="staging":hadoop:supergroup:rwxr-xr-x
请问如何解决呢?
1 楼 diyunpeng 2012-06-25  
楼主写的真的很好,我自己也在研究hadoop么,可惜一个人力量太薄弱了。只有看网络才能学到知识啊。哈~

相关推荐

    Hadoop的yarn详解

    Hadoop的YARN架构是Hadoop版本2.x引入的一个重要组件,它负责处理资源管理和作业调度,而核心的计算任务处理则交给了MapReduce、Tez、Spark等计算框架。YARN的出现是为了解决Hadoop早期版本中的可扩展性问题,它通过...

    Hadoop权威指南 第3版.pdf

    ### Hadoop权威指南 第3版 知识点详解 #### 一、Hadoop概述与发展历程 - **Hadoop**:一种分布式计算框架,主要用于处理大数据集。它最初由Apache软件基金会开发,旨在提供一个可靠、可扩展且成本效益高的解决方案...

    Hadoop实战

    #### 实战Hadoop:数据处理流程详解 在实际操作中,使用Hadoop进行数据处理通常遵循以下步骤: 1. **数据导入**:首先,需要将数据导入到HDFS中。这可以通过多种方式完成,例如使用Hadoop自带的命令行工具,或通过...

    Hadoop Streaming 编程

    Hadoop Streaming 为开发者提供了极大的灵活性,不仅可以使用多种编程语言实现 MapReduce 任务,还可以通过各种命令行选项来定制化作业的执行过程。对于那些希望在 Hadoop 生态系统中利用非 Java 语言的开发者来说,...

    Hadoop权威指南第二版英文版(高清,可复制)

    - **Java MapReduce**:本书详细介绍了如何使用Java编写MapReduce程序,包括Mapper、Reducer的实现方式以及如何提交作业到Hadoop集群中运行。 - **数据流**:在MapReduce中,数据流是指数据如何从输入到输出的整个...

    hadooop权威指南 第四版

    - **YARN(Yet Another Resource Negotiator)**:资源管理和调度系统,使得Hadoop能够运行多种类型的数据处理应用。 #### 二、HDFS深入解析 - **设计原理**: - 分块存储:将大文件分成多个块存储于不同的节点...

    hive查询优化

    Hive则位于这一生态系统的上层,作为一个客户端/作业提交层的角色。当Hive接收SQL查询请求后,会将其转换为一个或多个MapReduce作业,并通过YARN进行调度执行。 #### 三、Hive查询执行原理 Hive查询的执行流程大致...

    Hive操作指南

    当用户通过HQL(Hive SQL)提交查询请求时,Hive会将其转换成一系列的MapReduce作业,然后交由Hadoop集群执行。这种机制使得Hive能够在分布式环境中高效处理大规模数据集的同时,保持良好的易用性。 #### Hive的...

    大数据平台-Sqoop培训.pdf

    在执行流程上,Sqoop首先会读取目标表的结构,生成相应的运行类并打包成jar文件提交给Hadoop。接着,它会设置MapReduce作业所需的参数,并由MapReduce框架负责执行实际的数据迁移工作,包括数据的切分、范围的写入、...

    EasyHadoop实战手册 大数据时代 ha

    - 使用Job对象设置作业参数并提交执行。 - **结果输出**:将处理后的结果保存到指定目录或输出至其他系统。 ##### 3. 集群监控与维护 - **监控工具**:利用Nagios、Ganglia等第三方监控工具实时监测集群状态。 - ...

    Spark Streaming

    #### 三、Spark Streaming 实现方案详解 **1. 数据源** Spark Streaming 支持多种数据源,包括但不限于 Kafka Streams、Flume Streams、File Streams 和 Network Streams。在这个案例中,使用的是自定义的数据源 ...

Global site tag (gtag.js) - Google Analytics