文章来自:http://blog.csdn.net/kongxx/article/details/42339581
关于Maven的使用就不再啰嗦了,网上很多,并且这么多年变化也不大,这里仅介绍怎么搭建Hadoop的开发环境。
1. 首先创建工程
- mvn archetype:generate -DgroupId=my.hadoopstudy -DartifactId=hadoopstudy -DarchetypeArtifactId=maven-archetype-quickstart -DinteractiveMode=false
2. 然后在pom.xml文件里添加hadoop的依赖包hadoop-common, hadoop-client, hadoop-hdfs,添加后的pom.xml文件如下
- <project xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns="http://maven.apache.org/POM/4.0.0"
- xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/maven-v4_0_0.xsd">
- <modelVersion>4.0.0</modelVersion>
- <groupId>my.hadoopstudy</groupId>
- <artifactId>hadoopstudy</artifactId>
- <packaging>jar</packaging>
- <version>1.0-SNAPSHOT</version>
- <name>hadoopstudy</name>
- <url>http://maven.apache.org</url>
- <dependencies>
- <dependency>
- <groupId>org.apache.hadoop</groupId>
- <artifactId>hadoop-common</artifactId>
- <version>2.5.1</version>
- </dependency>
- <dependency>
- <groupId>org.apache.hadoop</groupId>
- <artifactId>hadoop-hdfs</artifactId>
- <version>2.5.1</version>
- </dependency>
- <dependency>
- <groupId>org.apache.hadoop</groupId>
- <artifactId>hadoop-client</artifactId>
- <version>2.5.1</version>
- </dependency>
- <dependency>
- <groupId>junit</groupId>
- <artifactId>junit</artifactId>
- <version>3.8.1</version>
- <scope>test</scope>
- </dependency>
- </dependencies>
- </project>
3. 测试
3.1 首先我们可以测试一下hdfs的开发,这里假定使用上一篇Hadoop文章中的hadoop集群,类代码如下
- package my.hadoopstudy.dfs;
- import org.apache.hadoop.conf.Configuration;
- import org.apache.hadoop.fs.FSDataOutputStream;
- import org.apache.hadoop.fs.FileStatus;
- import org.apache.hadoop.fs.FileSystem;
- import org.apache.hadoop.fs.Path;
- import org.apache.hadoop.io.IOUtils;
- import java.io.InputStream;
- import java.net.URI;
- public class Test {
- public static void main(String[] args) throws Exception {
- String uri = "hdfs://9.111.254.189:9000/";
- Configuration config = new Configuration();
- FileSystem fs = FileSystem.get(URI.create(uri), config);
- // 列出hdfs上/user/fkong/目录下的所有文件和目录
- FileStatus[] statuses = fs.listStatus(new Path("/user/fkong"));
- for (FileStatus status : statuses) {
- System.out.println(status);
- }
- // 在hdfs的/user/fkong目录下创建一个文件,并写入一行文本
- FSDataOutputStream os = fs.create(new Path("/user/fkong/test.log"));
- os.write("Hello World!".getBytes());
- os.flush();
- os.close();
- // 显示在hdfs的/user/fkong下指定文件的内容
- InputStream is = fs.open(new Path("/user/fkong/test.log"));
- IOUtils.copyBytes(is, System.out, 1024, true);
- }
- }
3.2 测试MapReduce作业
测试代码比较简单,如下:
- package my.hadoopstudy.mapreduce;
- import org.apache.hadoop.conf.Configuration;
- import org.apache.hadoop.fs.Path;
- import org.apache.hadoop.io.IntWritable;
- import org.apache.hadoop.io.Text;
- import org.apache.hadoop.mapreduce.Job;
- import org.apache.hadoop.mapreduce.Mapper;
- import org.apache.hadoop.mapreduce.Reducer;
- import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
- import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
- import org.apache.hadoop.util.GenericOptionsParser;
- import java.io.IOException;
- public class EventCount {
- public static class MyMapper extends Mapper<Object, Text, Text, IntWritable>{
- private final static IntWritable one = new IntWritable(1);
- private Text event = new Text();
- public void map(Object key, Text value, Context context) throws IOException, InterruptedException {
- int idx = value.toString().indexOf(" ");
- if (idx > 0) {
- String e = value.toString().substring(0, idx);
- event.set(e);
- context.write(event, one);
- }
- }
- }
- public static class MyReducer extends Reducer<Text,IntWritable,Text,IntWritable> {
- private IntWritable result = new IntWritable();
- public void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException {
- int sum = 0;
- for (IntWritable val : values) {
- sum += val.get();
- }
- result.set(sum);
- context.write(key, result);
- }
- }
- public static void main(String[] args) throws Exception {
- Configuration conf = new Configuration();
- String[] otherArgs = new GenericOptionsParser(conf, args).getRemainingArgs();
- if (otherArgs.length < 2) {
- System.err.println("Usage: EventCount <in> <out>");
- System.exit(2);
- }
- Job job = Job.getInstance(conf, "event count");
- job.setJarByClass(EventCount.class);
- job.setMapperClass(MyMapper.class);
- job.setCombinerClass(MyReducer.class);
- job.setReducerClass(MyReducer.class);
- job.setOutputKeyClass(Text.class);
- job.setOutputValueClass(IntWritable.class);
- FileInputFormat.addInputPath(job, new Path(otherArgs[0]));
- FileOutputFormat.setOutputPath(job, new Path(otherArgs[1]));
- System.exit(job.waitForCompletion(true) ? 0 : 1);
- }
- }
运行“mvn package”命令产生jar包hadoopstudy-1.0-SNAPSHOT.jar,并将jar文件复制到hadoop安装目录下
这里假定我们需要分析几个日志文件中的Event信息来统计各种Event个数,所以创建一下目录和文件
- /tmp/input/event.log.1
- /tmp/input/event.log.2
- /tmp/input/event.log.3
因为这里只是要做一个列子,所以每个文件内容可以都一样,假如内容如下
- JOB_NEW ...
- JOB_NEW ...
- JOB_FINISH ...
- JOB_NEW ...
- JOB_FINISH ...
然后把这些文件复制到HDFS上
- $ bin/hdfs dfs -put /tmp/input /user/fkong/input
运行mapreduce作业
- $ bin/hadoop jar hadoopstudy-1.0-SNAPSHOT.jar my.hadoopstudy.mapreduce.EventCount /user/fkong/input /user/fkong/output
查看执行结果
- $ bin/hdfs dfs -cat /user/fkong/output/part-r-00000
相关推荐
在Windows环境下搭建Hadoop开发环境是一项复杂但必要的任务,尤其对于初学者和开发者来说,能够直接在本地系统上运行和调试Hadoop程序是极其有用的。本文将详细介绍如何在Windows上配置Hadoop,以便使用Eclipse进行...
总结起来,"win下maven创建的hadoop程序demo"是一个涵盖了Windows开发环境、Maven项目管理、Hadoop分布式计算平台以及MapReduce编程模型的实践案例。这个案例旨在帮助开发者了解和掌握在Windows上使用Maven构建...
在本文中,我们将详细介绍如何使用 Maven 搭建 SpringMVC 环境,并且详细解释每一步的操作。 为什么要用 Maven? Maven 是一个 jar 包管理工具,它可以自动管理项目的依赖关系,简化项目的构建和管理过程。在之前的...
Eclipse是集成开发环境(IDE),Maven是项目管理工具,Hadoop是大数据处理框架。本文将详细介绍如何使用Eclipse和Maven构建Hadoop项目。 一、Maven介绍 Maven是一个项目管理工具,可以对Java项目进行构建、依赖...
在本教程中,我们将深入探讨如何使用Cygwin和Eclipse搭建Hadoop的单机开发环境,这将有助于你理解Hadoop的基础知识以及如何在Windows操作系统上进行开发和测试。Cygwin是一个在Windows上模拟Linux环境的工具,它允许...
为了搭建Hadoop开发环境,首先需要安装Java Development Kit (JDK),并且确保其版本为1.8或更高。以下为具体步骤: - **JDK与JRE安装**: 可以通过搜索引擎查找相关教程完成安装。建议将JRE安装目录置于JDK目录之下...
【标题解析】 "Hadoop搭建与eclipse开发环境...通过搭建Hadoop环境,开发者能够实践和理解分布式计算原理,而在Eclipse中配置Hadoop开发环境则提供了高效便捷的编程和调试工具,便于进行MapReduce应用的开发和迭代。
3、集群以及本地开发环境的jdk版本要保持一致 4、maven 4.1添加maven的pom依赖 https://mvnrepositi.com 搜索hadoop—选择对应版本—-就有maven的pom依赖,根据需求搜索其他的对应开发包进行相应的pom依赖添加 这里...
4. **使用Maven进行Hadoop开发** - **创建新项目**:使用`mvn archetype:generate`创建一个新的Maven项目,选择合适的archetype模板。 - **添加Hadoop依赖**:在新项目pom.xml中添加Hadoop的依赖,如: ```xml ...
在Windows环境下搭建Eclipse的Hadoop开发环境是一个重要的步骤,对于大数据开发人员来说,这是进行Spark和Hadoop项目开发的基础。以下将详细讲解这个过程,以及如何利用ECLIPSE大数据开发插件来优化配置。 首先,...
总结来说,基于Windows、Eclipse、Maven和Hadoop实现WordCount源码的过程主要包括以下步骤:配置开发环境、创建Maven项目、编写MapReduce代码、打包成jar文件,以及在Hadoop集群上运行作业。通过这个过程,我们可以...
在Windows 10环境下,使用IntelliJ IDEA搭建Hadoop开发环境是一项常见的任务,尤其对于初学者和开发者来说,理解并实践这一过程至关重要。Hadoop是Apache软件基金会的一个开源项目,它提供了一个分布式文件系统...
本文将详细介绍如何在IDE环境下搭建Spark与Hadoop的集成环境。 首先,我们需要了解Hadoop的组成部分。Hadoop主要由HDFS(Hadoop Distributed File System)和MapReduce两部分组成。HDFS是分布式文件系统,用于存储...
**步骤2:** 查看`BUILDING.txt`文件,该文件详细列出了编译Hadoop所需的环境和依赖项,包括但不限于: - **Unix System**:操作系统的类型。 - **JDK 1.7+**:Java开发工具包的版本。 - **Maven 3.0 or later**...
这些技能对于Hadoop开发工程师来说至关重要,因为Hadoop通常运行在Linux环境下,并且需要开发者具备处理分布式系统的能力。 在工作经历部分,他曾在不同公司担任JAVA开发工程师,参与了JAVAWEB项目的开发,包括需求...
在Windows下使用Eclipse进行Hadoop开发时,确保正确配置了Hadoop环境是至关重要的。首先,你需要将Hadoop的安装路径添加到系统PATH环境变量中,包括`hadoop.dll`所在的路径。其次,Eclipse项目中需要有合适的Hadoop...
Hadoop是一个开源框架,主要用于分布式存储和计算大规模数据集,而Eclipse则是一个广泛使用的集成开发环境(IDE),适用于多种编程语言,包括Java,Hadoop的主要编程语言。本教程将深入探讨如何搭建Hadoop环境并配置...
通过以上步骤,你就可以在单台机器上成功搭建Hadoop的伪分布式环境,这对于理解和实践Hadoop的基本概念、API和工作流程非常有帮助。在深入学习和使用Hadoop的过程中,这个环境将是你探索分布式计算世界的起点。