今天配置了一下hadoop0.19.0开发环境,
1.首先安装JDK1.6(因为hadoop 0.19.0 是需要使用 jdk1.6 ),安装Eclipse 3.3.2
2.修改eclipse.ini
增加粗体:
-showsplash
org.eclipse.platform
--launcher.XXMaxPermSize
256m
-vm
C:\Program Files\Java\jdk1.6.0_12\bin\javaw.exe
-vmargs
-Xms256m
-Xmx512m
3.下载hadoop0.19.0,下载完成以后将hadoop-0.19.0\contrib\eclipse-plugin\hadoop-0.19.0-eclipse-plugin.jar复制到eclipse的plugins目录
4.启动eclipse
5.选择菜单Windows---》Open Perspective---》Other
选择Map/Reduce OK。
6.Windows---》Preperence---》Hadoop Map/Reduce---》Hadoop installation directory,选择hadoop安装路径。
7.新建Map/Reduce项目
8.新建Java程序WordCount,然后将hadoop-0.19.0\src\examples\org\apache\hadoop\examples\WordCount.java复制到你的代码中,修改包名,修改代码,
增加一行:conf.set("hadoop.job.ugi", "hadoop,hadoop");。
如果不增加这行代码,会报:
09/02/10 21:28:46 WARN fs.FileSystem: uri=hdfs://hadoop2.xunjienet.com:9000/
javax.security.auth.login.LoginException: Login failed: Cannot run program "whoami": CreateProcess error=2,
9.右键Run as ---》Run On hadoop
10.可以新建一个hadoop server location,主要是设置Map/Reduce Master和DFS Master的主机名和端口号,一般选择相同的主机名,Map/Reduce Master和DFS Master的端口号是9001,9000.
和服务器的hadoop-site.xml配置相关:
<property>
<name>fs.default.name</name>
<value>hdfs://hadoop2.xunjienet.com:9000</value>
<description>The name of the default file system. Either the literal string
"local" or a host:port for DFS.</description>
</property>
<property>
<name>mapred.job.tracker</name>
<value>hadoop2.xunjienet.com:9001</value>
<description>The host and port that the MapReduce job tracker runs at. If
"local", then jobs are run in-process as a single map and reduce task.</description>
</property>
分享到:
相关推荐
windows平台.eclipse的hadoop2.6.1插件 jdk1.6编译的. hadoop是安装包是32位的
综上所述,"hadoop3.3+jdk1.8.zip"压缩包为用户提供了搭建Hadoop集群的基础,包括了稳定运行Hadoop所需的JDK版本和优化的Snappy支持。通过使用这个压缩包,用户能够快速部署一个高效的大数据处理环境,利用Hadoop的...
因为从1.2.1版本升级到2.6以后老的不能用,自己编译了一个,网上找的不行,是1.7编译的,太新了所以自己编译了一个。是64位系统上编译的,java 版本是1.6. 已经测试能够使用了。
基于Ubuntu16+Hadoop2.7.5+Eclipse Neon的云计算开发平台的搭建
Hadoop2.2+Zookeeper3.4.5+HBase0.96集群环境搭建 Hadoop2.2+Zookeeper3.4.5+HBase0.96集群环境搭建是大数据处理和存储的重要组件,本文档将指导用户从零开始搭建一个完整的Hadoop2.2+Zookeeper3.4.5+HBase0.96集群...
毕业设计-基于Hadoop+Spark的大数据金融信贷风险控系统源码.zip毕业设计-基于Hadoop+Spark的大数据金融信贷风险控系统源码.zip毕业设计-基于Hadoop+Spark的大数据金融信贷风险控系统源码.zip毕业设计-基于Hadoop+...
在构建Hadoop 0.20.2的开发环境时,使用Eclipse 3.3.2集成开发环境(IDE)是一种常见的选择。Hadoop是一个分布式文件系统,它允许存储和处理海量数据,而Eclipse则是一个强大的Java开发工具,通过特定的插件可以支持...
本文将详细讲解如何在CentOS7上安装Hadoop2.7.3和JDK1.8,以及相关配置步骤。 首先,我们需要确保系统主机名正确设置,这对于集群中的节点间通信至关重要。在CentOS7中,可以通过以下步骤修改主机名: 1. 使用`vi`...
hadoop集群搭建,分布式,伪分布式,单机 必要组件包 jdk,hadoop安装包及其详细的安装教程
hadoop0.20.2的eclipse3.3.2插件环境集合,包括hadoop0.20.2的eclipse3.3.2的插件,以及windows和linux下eclipse开发环境,还有帮助文档。
在Windows 10环境下搭建Hadoop生态系统,包括JDK、MySQL、Hadoop、Scala、Hive和Spark等组件,是一项繁琐但重要的任务,这将为你提供一个基础的大数据处理平台。下面将详细介绍每个组件的安装与配置过程。 **1. JDK...
### JDK1.6安装及与JDK-1.5版本共存 #### 一、前言 随着软件开发环境的变化和技术的进步,不同的项目可能需要不同的Java版本来支持其运行。例如,在某些特定环境下,可能既需要使用JDK1.5(Java Development Kit ...
这个组合对于在Windows平台上搭建Hadoop开发或测试环境非常有帮助。 首先,让我们详细了解一下Hadoop 3.0.0。这是Hadoop的重大升级,引入了许多新特性和性能改进。主要变化包括: 1. **YARN增强**:YARN(Yet ...
毕业设计基于hadoop+hive+hbase+echarts的招聘信息大数据分析平台源码+论文PDF(高分毕设)毕业设计基于hadoop+hive+hbase+echarts的招聘信息大数据分析平台源码+论文PDF(高分毕设)毕业设计基于hadoop+hive+hbase+...
毕业设计基于hadoop+hive+hbase+echarts的招聘信息大数据分析平台源码+文档说明(高分毕设)毕业设计基于hadoop+hive+hbase+echarts的招聘信息大数据分析平台源码+文档说明(高分毕设)毕业设计基于hadoop+hive+...
VM虚拟机下配Eclipse+JDK+Tomcat+Hadoop环境搭建 了解VM虚拟机的安装和配置是非常重要的,因为它可以为我们提供一个独立的操作系统环境,方便我们进行开发和测试。在本文中,我们将详细介绍如何在VM虚拟机中安装和...
基于Hadoop图书推荐系统源码+数据库.zip基于Hadoop图书推荐系统源码+数据库.zip基于Hadoop图书推荐系统源码+数据库.zip基于Hadoop图书推荐系统源码+数据库.zip基于Hadoop图书推荐系统源码+数据库.zip基于Hadoop图书...
基于SpringBoot+Hadoop+Vue开发的企业级网盘分布式系统+本科毕业设计+源码+数据库 基于SpringBoot+Hadoop+Vue开发的企业级网盘分布式系统+本科毕业设计+源码+数据库 基于SpringBoot+Hadoop+Vue开发的企业级网盘...
在Windows操作系统上搭建Hadoop与Eclipse的集成开发环境是开发Hadoop应用程序的基础步骤。以下是一份详细的指南,涵盖了从安装JDK、Cygwin到配置Hadoop环境以及安装Eclipse插件的所有必要步骤。 1. **安装JDK** - ...