一、目的:
由于hadoop只能在Linux环境下运行,所以对于在windwos系统下使用IDE工作的开发人员来说,调试是件麻烦的工作,所以我们今天要配置的Hadoop开发环境是在Windows XP系统下,并集成eclipse使开发人员在做hadoop开发时更容易调试。
二、本人配置的版本信息:
windows XP系统,
jdk1.6.0_05,
eclipse-jee-indigo-win32 Release 3.7.0,
cygwin 1.7.9-1,
hadoop-0.20.2,
三、配置步骤:
1、安装cygwin:
cygwin网上的资料很多,这里就不再详述。
2、JAVA安装
对于JAVA的安装与环境配置这里也不再详述,如果不清楚的话,百度一下你就知道了。
JAVA_HOME=C:/Java/jdk1.6.0_05
3、配置Hadoop
3.1、配置hadoop-env.sh文件,设置export JAVA_HOME=C:/Java/jdk1.6.0_05
3.2、配置HADOOP_HOME=D:\adsitcloud\hadoop-0.20.2
3.3、配置core-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/adsitcloud/temporary</value>
</property>
</configuration>
3.4、配置hdfs-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
3.5、配置mapred-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>
3.6、Hadoop启动和一些基本命令
在cygwin环境中,进入Hadoop安装目录,
cd /cygdrive/d/adsitcloud/hadoop-0.20.2
a、格式化hadoop命名节点:bin/hadoop namenode -format
b、启动Hdfs和MapReduce,在这里可以全部启动:bin/start-all.sh
c、以下是基本命令
bin/hadoop dsfadmin –report 查看运行状况,验证配置是否成功,查看datanodes中正常和不正常的个数
bin/hadoop dfs –mkdir yesq 创建名为yesq的目录
bin/hadoop dfs –put .bin/*.txt yesq 把上一目录下所有的txt文件上传到yesq目录
bin/hadoop dfs –ls yesq 列出yesq目录下的文件,输出文件列表信息,此时可以看到刚上传的txt文件。表时已经配置成功。
3.7、输入以下网址查看是否配置成功。
http://localhost:50070/dfshealth.jsp
点击:Browse the filesystem,并一直点击目录文件,此时也可以看到刚才上传的txt文件。
四、安装eclipse以hadoop-eclipse-plugin
4.1、eclipse的下载安装这里不再详述,如果不清楚的话,google一下你就知道的太多了。
4.2、安装hadoop-eclipse-plugin
a、在eclipse的安装目录下新建文件夹:links
b、新建链接文件,hadoop.link ,内容为:path=E:\\eclipsePlugins\\hadoop
c、在path目录下新建文件夹:plugins,并把hadoop-eclipse-plugin-0.20.3-SNAPSHOT.jar放在该目录下,即:E:\eclipsePlugins\hadoop\plugins,hadoop-0.20.2的插件一定要用这个,如果用本身自带的0.20.2插件的话,eclipse调试时无法弹出Run on Hadoop
d、删除E:\Program Files\eclipse\configuration下的org.eclipse.update文件夹
五、Eclipse结合Hadoop环境
a、启动eclipse
b、点击Open Perspective>Other,此时可以看到Map/Reduce的小蓝像,点击选择,此时可以看到DFS Locations的一个树形目录,下面有localhost的大象以及在上面新建的目录,以及该新建目录下的txt文件。
c、点击左下角的Show View as a Fast View,再点击Other,此时可以看到 Map/Reduce Locations的小黄色大象,
此时右建选择 New Hadoop location...,弹出圣诞框。
d、点击General选项卡>输入 Location name:localhost>Map/Reduce Master下Host:localhost Port:9001>
DFS Master下输入Port:9000>在User name下输入yesq>点击Finish。
e、在eclipse下配置HADOOP HOME,选择Window>Preferences>选择Hadoop MAP/Reduce>点击Browse...选择Hadoop安装目录,我的安装目录是:D:\adsitcloud\hadoop-0.20.2>点击OK。
六、结束语
到此在XP系统下配置eclipse集合Hadoop已经配置完成,可以进行开发了,在File New的时候可以看到Map/Reduce等图
分享到:
相关推荐
本篇将详细讲解如何在Linux和Windows操作系统下配置Eclipse进行Hadoop开发。 **一、Linux环境下配置Eclipse开发Hadoop** 1. **安装Java**: Hadoop依赖Java运行环境,首先确保系统已安装Java,并且版本至少为Java 8...
在Windows操作系统中,Eclipse是一款广泛使用的Java集成开发环境(IDE),它对于开发分布式计算框架如Hadoop、Spark以及数据仓库工具Hive来说,是非常有用的。本教程将深入讲解如何在Eclipse中集成这些组件,以创建...
在Windows 7环境下,配置Eclipse来开发Hadoop项目,我们需要安装特定的插件并进行一系列设置。本文将详细介绍如何在Eclipse中配置Hadoop 2.6的插件,以便于进行分布式计算开发。 首先,我们要理解Hadoop是Apache...
通过上述步骤,我们不仅成功地在Eclipse中安装了Hadoop插件,还进一步配置了Hadoop环境,包括设置Hadoop集群的位置、释放Hadoop-common库以及关闭HDFS的权限检查等功能。这些操作有助于提高Hadoop程序开发的效率和...
基于 Eclipse 的 Hadoop 应用开发环境配置是指在 Eclipse 中配置 Hadoop 开发环境,以便开发和运行 Hadoop 应用程序。本节将对基于 Eclipse 的 Hadoop 应用开发环境配置进行详细介绍。 一、Hadoop 概述 Hadoop 是...
Eclipse 配置 Hadoop 及 MapReduce 开发指南 一、Eclipse 中配置 Hadoop 插件 配置 Hadoop 插件是使用 Eclipse 进行 MapReduce 开发的第一步。首先,需要安装 Eclipse 3.3.2 和 Hadoop 0.20.2-eclipse-plugin.jar ...
在Windows环境下,开发基于Hadoop的Java应用程序通常需要一个集成开发环境(IDE),Eclipse是其中常用的一个。本文将详细讲解如何使用Eclipse与Hadoop 2.2.0插件进行连接,以便于在Windows操作系统上进行Hadoop相关...
此jar包是由hadoop-1.0.4集成到Java EE eclipse DFS 请不要下错哦!~
首先,"Eclipse开发Hadoop相关项目本地配置插件"涉及到的主要目标是在本地环境中设置一个支持Hadoop开发的工作站。这包括安装和配置Hadoop环境,以及在Eclipse中集成Hadoop相关的开发工具。 1. **安装Hadoop**:在...
Eclipse是一个强大的集成开发环境,支持多种编程语言,包括Java,而Hadoop是一个分布式计算框架,主要处理和存储大规模数据。 首先,我们需要确保已正确安装了Eclipse和Hadoop。在安装Hadoop时,遵循官方文档或网络...
本标题表明本文档的主要内容是关于在Ubuntu操作系统下使用Eclipse开发Hadoop应用程序。 描述: 本文档详细记录了如何在ubuntu下安装eclipse,以及如何在eclipse中安装hadoop插件,最后运行程序。 本描述明确了本...
标题中的“eclipse连接hadoop相关工具”指的是在Eclipse集成开发环境中配置和使用Hadoop的相关组件,以便于开发和调试Hadoop MapReduce程序。这个主题涵盖了Eclipse插件、Hadoop的DLL文件以及Winutils工具,这些都是...
附件包含eclipse在window7配置hadoop2.7.x 开发环境需要的jar、dll。具体安装步骤可以参考:https://blog.csdn.net/wudichengyaojin/article/details/64440655 可能遇到的问题参考: ...
在Windows环境下进行Hadoop开发,Eclipse是一个常用的集成开发环境。本文档将详细介绍如何配置Eclipse以便连接到Hadoop集群,使得开发过程更加便捷。 **1. Hadoop开发环境配置** 1.1 Hadoop集群简介 Hadoop是一个...
在Windows环境下,使用Eclipse进行Hadoop 2.2.0分布式集群的调试是一项重要的技能,这可以帮助开发者更好地理解和优化Hadoop程序。以下是一些关键的知识点,将指导你完成这个过程。 首先,Hadoop是一个开源的分布式...
通过上述步骤,我们不仅完成了在Eclipse环境下配置Hadoop开发环境的任务,还成功实现了WordCount程序的开发与运行,这对于初学者来说是非常好的实践案例。未来可以在此基础上尝试更复杂的大数据处理任务,进一步探索...
目的很简单,为进行研究与学习,部署一个hadoop运行环境,并搭建一个...2.在windows 上能够使用eclipse连接ubuntu系统上部署的hadoop进行开发与测试 3.只需要在eclipse中“Run on Hadoop",不需要自己打包上传运行。
标题中的“在eclipse中配置hadoop插件”是指在集成开发环境Eclipse中安装和配置Hadoop插件,以便于开发和调试Hadoop MapReduce项目。这个过程涉及到多个步骤和知识点,包括Eclipse的扩展性、Hadoop的开发工具支持...