`

使用Maven搭建Hadoop开发环境

 
阅读更多

文章来自:http://blog.csdn.net/kongxx/article/details/42339581

 

关于Maven的使用就不再啰嗦了,网上很多,并且这么多年变化也不大,这里仅介绍怎么搭建Hadoop的开发环境。

1. 首先创建工程

  1. mvn archetype:generate -DgroupId=my.hadoopstudy -DartifactId=hadoopstudy -DarchetypeArtifactId=maven-archetype-quickstart -DinteractiveMode=false  


2. 然后在pom.xml文件里添加hadoop的依赖包hadoop-common, hadoop-client, hadoop-hdfs,添加后的pom.xml文件如下

  1. <project xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns="http://maven.apache.org/POM/4.0.0"  
  2.          xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/maven-v4_0_0.xsd">  
  3.     <modelVersion>4.0.0</modelVersion>  
  4.     <groupId>my.hadoopstudy</groupId>  
  5.     <artifactId>hadoopstudy</artifactId>  
  6.     <packaging>jar</packaging>  
  7.     <version>1.0-SNAPSHOT</version>  
  8.     <name>hadoopstudy</name>  
  9.     <url>http://maven.apache.org</url>  
  10.    
  11.     <dependencies>  
  12.         <dependency>  
  13.             <groupId>org.apache.hadoop</groupId>  
  14.             <artifactId>hadoop-common</artifactId>  
  15.             <version>2.5.1</version>  
  16.         </dependency>  
  17.         <dependency>  
  18.             <groupId>org.apache.hadoop</groupId>  
  19.             <artifactId>hadoop-hdfs</artifactId>  
  20.             <version>2.5.1</version>  
  21.         </dependency>  
  22.         <dependency>  
  23.             <groupId>org.apache.hadoop</groupId>  
  24.             <artifactId>hadoop-client</artifactId>  
  25.             <version>2.5.1</version>  
  26.         </dependency>  
  27.    
  28.         <dependency>  
  29.             <groupId>junit</groupId>  
  30.             <artifactId>junit</artifactId>  
  31.             <version>3.8.1</version>  
  32.             <scope>test</scope>  
  33.         </dependency>  
  34.     </dependencies>  
  35. </project>  


3. 测试
3.1 首先我们可以测试一下hdfs的开发,这里假定使用上一篇Hadoop文章中的hadoop集群,类代码如下

  1. package my.hadoopstudy.dfs;  
  2.    
  3. import org.apache.hadoop.conf.Configuration;  
  4. import org.apache.hadoop.fs.FSDataOutputStream;  
  5. import org.apache.hadoop.fs.FileStatus;  
  6. import org.apache.hadoop.fs.FileSystem;  
  7. import org.apache.hadoop.fs.Path;  
  8. import org.apache.hadoop.io.IOUtils;  
  9.    
  10. import java.io.InputStream;  
  11. import java.net.URI;  
  12.    
  13. public class Test {  
  14.     public static void main(String[] args) throws Exception {  
  15.         String uri = "hdfs://9.111.254.189:9000/";  
  16.         Configuration config = new Configuration();  
  17.         FileSystem fs = FileSystem.get(URI.create(uri), config);  
  18.    
  19.         // 列出hdfs上/user/fkong/目录下的所有文件和目录  
  20.         FileStatus[] statuses = fs.listStatus(new Path("/user/fkong"));  
  21.         for (FileStatus status : statuses) {  
  22.             System.out.println(status);  
  23.         }  
  24.    
  25.         // 在hdfs的/user/fkong目录下创建一个文件,并写入一行文本  
  26.         FSDataOutputStream os = fs.create(new Path("/user/fkong/test.log"));  
  27.         os.write("Hello World!".getBytes());  
  28.         os.flush();  
  29.         os.close();  
  30.    
  31.         // 显示在hdfs的/user/fkong下指定文件的内容  
  32.         InputStream is = fs.open(new Path("/user/fkong/test.log"));  
  33.         IOUtils.copyBytes(is, System.out, 1024true);  
  34.     }  
  35. }  


3.2 测试MapReduce作业
测试代码比较简单,如下:

  1. package my.hadoopstudy.mapreduce;  
  2.    
  3. import org.apache.hadoop.conf.Configuration;  
  4. import org.apache.hadoop.fs.Path;  
  5. import org.apache.hadoop.io.IntWritable;  
  6. import org.apache.hadoop.io.Text;  
  7. import org.apache.hadoop.mapreduce.Job;  
  8. import org.apache.hadoop.mapreduce.Mapper;  
  9. import org.apache.hadoop.mapreduce.Reducer;  
  10. import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;  
  11. import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;  
  12. import org.apache.hadoop.util.GenericOptionsParser;  
  13.    
  14. import java.io.IOException;  
  15.    
  16. public class EventCount {  
  17.    
  18.     public static class MyMapper extends Mapper<Object, Text, Text, IntWritable>{  
  19.         private final static IntWritable one = new IntWritable(1);  
  20.         private Text event = new Text();  
  21.    
  22.         public void map(Object key, Text value, Context context) throws IOException, InterruptedException {  
  23.             int idx = value.toString().indexOf(" ");  
  24.             if (idx > 0) {  
  25.                 String e = value.toString().substring(0, idx);  
  26.                 event.set(e);  
  27.                 context.write(event, one);  
  28.             }  
  29.         }  
  30.     }  
  31.    
  32.     public static class MyReducer extends Reducer<Text,IntWritable,Text,IntWritable> {  
  33.         private IntWritable result = new IntWritable();  
  34.    
  35.         public void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException {  
  36.             int sum = 0;  
  37.             for (IntWritable val : values) {  
  38.                 sum += val.get();  
  39.             }  
  40.             result.set(sum);  
  41.             context.write(key, result);  
  42.         }  
  43.     }  
  44.    
  45.     public static void main(String[] args) throws Exception {  
  46.         Configuration conf = new Configuration();  
  47.         String[] otherArgs = new GenericOptionsParser(conf, args).getRemainingArgs();  
  48.         if (otherArgs.length < 2) {  
  49.             System.err.println("Usage: EventCount <in> <out>");  
  50.             System.exit(2);  
  51.         }  
  52.         Job job = Job.getInstance(conf, "event count");  
  53.         job.setJarByClass(EventCount.class);  
  54.         job.setMapperClass(MyMapper.class);  
  55.         job.setCombinerClass(MyReducer.class);  
  56.         job.setReducerClass(MyReducer.class);  
  57.         job.setOutputKeyClass(Text.class);  
  58.         job.setOutputValueClass(IntWritable.class);  
  59.         FileInputFormat.addInputPath(job, new Path(otherArgs[0]));  
  60.         FileOutputFormat.setOutputPath(job, new Path(otherArgs[1]));  
  61.         System.exit(job.waitForCompletion(true) ? 0 : 1);  
  62.     }  
  63. }  

 

运行“mvn package”命令产生jar包hadoopstudy-1.0-SNAPSHOT.jar,并将jar文件复制到hadoop安装目录下

这里假定我们需要分析几个日志文件中的Event信息来统计各种Event个数,所以创建一下目录和文件

  1. /tmp/input/event.log.1  
  2. /tmp/input/event.log.2  
  3. /tmp/input/event.log.3  


因为这里只是要做一个列子,所以每个文件内容可以都一样,假如内容如下

  1. JOB_NEW ...  
  2. JOB_NEW ...  
  3. JOB_FINISH ...  
  4. JOB_NEW ...  
  5. JOB_FINISH ...  


然后把这些文件复制到HDFS上

  1. $ bin/hdfs dfs -put /tmp/input /user/fkong/input  


运行mapreduce作业

  1. $ bin/hadoop jar hadoopstudy-1.0-SNAPSHOT.jar my.hadoopstudy.mapreduce.EventCount /user/fkong/input /user/fkong/output  


查看执行结果

  1. $ bin/hdfs dfs -cat /user/fkong/output/part-r-00000 
分享到:
评论

相关推荐

    windows下搭建hadoop开发环境

    在Windows环境下搭建Hadoop开发环境是一项复杂但必要的任务,尤其对于初学者和开发者来说,能够直接在本地系统上运行和调试Hadoop程序是极其有用的。本文将详细介绍如何在Windows上配置Hadoop,以便使用Eclipse进行...

    win下maven创建的hadoop程序demo

    总结起来,"win下maven创建的hadoop程序demo"是一个涵盖了Windows开发环境、Maven项目管理、Hadoop分布式计算平台以及MapReduce编程模型的实践案例。这个案例旨在帮助开发者了解和掌握在Windows上使用Maven构建...

    用maven搭建spring MVC环境,详细易懂

    在本文中,我们将详细介绍如何使用 Maven 搭建 SpringMVC 环境,并且详细解释每一步的操作。 为什么要用 Maven? Maven 是一个 jar 包管理工具,它可以自动管理项目的依赖关系,简化项目的构建和管理过程。在之前的...

    Eclipse+Maven构建Hadoop项目的方法步骤

    Eclipse是集成开发环境(IDE),Maven是项目管理工具,Hadoop是大数据处理框架。本文将详细介绍如何使用Eclipse和Maven构建Hadoop项目。 一、Maven介绍 Maven是一个项目管理工具,可以对Java项目进行构建、依赖...

    Cygwin+Eclipse搭建Hadoop单机开发环境-2

    在本教程中,我们将深入探讨如何使用Cygwin和Eclipse搭建Hadoop的单机开发环境,这将有助于你理解Hadoop的基础知识以及如何在Windows操作系统上进行开发和测试。Cygwin是一个在Windows上模拟Linux环境的工具,它允许...

    IDEA从0到1搭建本地hadoop开发环境

    为了搭建Hadoop开发环境,首先需要安装Java Development Kit (JDK),并且确保其版本为1.8或更高。以下为具体步骤: - **JDK与JRE安装**: 可以通过搜索引擎查找相关教程完成安装。建议将JRE安装目录置于JDK目录之下...

    hadoop搭建与eclipse开发环境设置_hadoop_

    【标题解析】 "Hadoop搭建与eclipse开发环境...通过搭建Hadoop环境,开发者能够实践和理解分布式计算原理,而在Eclipse中配置Hadoop开发环境则提供了高效便捷的编程和调试工具,便于进行MapReduce应用的开发和迭代。

    Hadoop +API之idea+maven搭建HDFS开发环境

    3、集群以及本地开发环境的jdk版本要保持一致 4、maven 4.1添加maven的pom依赖 https://mvnrepositi.com 搜索hadoop—选择对应版本—-就有maven的pom依赖,根据需求搜索其他的对应开发包进行相应的pom依赖添加 这里...

    linux下maven环境搭建.doc|linux下maven环境搭建.doc

    4. **使用Maven进行Hadoop开发** - **创建新项目**:使用`mvn archetype:generate`创建一个新的Maven项目,选择合适的archetype模板。 - **添加Hadoop依赖**:在新项目pom.xml中添加Hadoop的依赖,如: ```xml ...

    windows 下搭建eclipse的hadoop开发环境.rar_SPARKK_blew1bh_manufacturingkf

    在Windows环境下搭建Eclipse的Hadoop开发环境是一个重要的步骤,对于大数据开发人员来说,这是进行Spark和Hadoop项目开发的基础。以下将详细讲解这个过程,以及如何利用ECLIPSE大数据开发插件来优化配置。 首先,...

    基于Windows eclipse maven Hadoop 的WordCount源码

    总结来说,基于Windows、Eclipse、Maven和Hadoop实现WordCount源码的过程主要包括以下步骤:配置开发环境、创建Maven项目、编写MapReduce代码、打包成jar文件,以及在Hadoop集群上运行作业。通过这个过程,我们可以...

    win hadoop 开发文件

    在Windows 10环境下,使用IntelliJ IDEA搭建Hadoop开发环境是一项常见的任务,尤其对于初学者和开发者来说,理解并实践这一过程至关重要。Hadoop是Apache软件基金会的一个开源项目,它提供了一个分布式文件系统...

    Spark+Hadoop+IDE环境搭建

    本文将详细介绍如何在IDE环境下搭建Spark与Hadoop的集成环境。 首先,我们需要了解Hadoop的组成部分。Hadoop主要由HDFS(Hadoop Distributed File System)和MapReduce两部分组成。HDFS是分布式文件系统,用于存储...

    Hadoop学习之路(三)Hadoop-2.7.5在CentOS-6.7上的编译

    **步骤2:** 查看`BUILDING.txt`文件,该文件详细列出了编译Hadoop所需的环境和依赖项,包括但不限于: - **Unix System**:操作系统的类型。 - **JDK 1.7+**:Java开发工具包的版本。 - **Maven 3.0 or later**...

    Hadoop开发工程师简历模板

    这些技能对于Hadoop开发工程师来说至关重要,因为Hadoop通常运行在Linux环境下,并且需要开发者具备处理分布式系统的能力。 在工作经历部分,他曾在不同公司担任JAVA开发工程师,参与了JAVAWEB项目的开发,包括需求...

    hadoop winutils hadoop.dll

    在Windows下使用Eclipse进行Hadoop开发时,确保正确配置了Hadoop环境是至关重要的。首先,你需要将Hadoop的安装路径添加到系统PATH环境变量中,包括`hadoop.dll`所在的路径。其次,Eclipse项目中需要有合适的Hadoop...

    大数据云计算技术系列 hadoop搭建与eclipse开发环境设置-已验证通过(共13页).rar

    Hadoop是一个开源框架,主要用于分布式存储和计算大规模数据集,而Eclipse则是一个广泛使用的集成开发环境(IDE),适用于多种编程语言,包括Java,Hadoop的主要编程语言。本教程将深入探讨如何搭建Hadoop环境并配置...

    第3章hadoop伪分布式环境的搭建.docx

    通过以上步骤,你就可以在单台机器上成功搭建Hadoop的伪分布式环境,这对于理解和实践Hadoop的基本概念、API和工作流程非常有帮助。在深入学习和使用Hadoop的过程中,这个环境将是你探索分布式计算世界的起点。

Global site tag (gtag.js) - Google Analytics