- 浏览: 155238 次
- 性别:
- 来自: 北京
文章分类
- 全部博客 (113)
- Java工具类 (3)
- Hibernate (1)
- Struts>1&2 (0)
- Spring (0)
- Web前端 (1)
- 数据库 (2)
- 中间件 (3)
- 搜索引擎 (11)
- EJB (1)
- Log日志 (1)
- OS操作系统 (7)
- Java文档 (4)
- Security (1)
- Exception&Error (7)
- 日志&心情 (7)
- 开心一下 (3)
- 云计算 (41)
- Cache缓存 (4)
- MongoDB (1)
- OS操作系统 Linux (7)
- jquery (1)
- 机器学习 (2)
- Plugins (2)
- AJAX (1)
- Java工具 (1)
- WebService (1)
最新评论
-
a420144030:
你好,我想计算n篇文章的相似度,用mahout能处理吗,如何做 ...
mahout使用 -
di1984HIT:
OK,真的很牛啊
hadoop常见错误 -
xwl1991:
还真是这个问题 !
quartz报错java.lang.NoSuchMethodError: org.apache.commons.collections.SetUtils.ord
一、目的:
由于hadoop只能在Linux环境下运行,所以对于在windwos系统下使用IDE工作的开发人员来说,调试是件麻烦的工作,所以我们今天要配置的Hadoop开发环境是在Windows XP系统下,并集成eclipse使开发人员在做hadoop开发时更容易调试。
二、本人配置的版本信息:
windows XP系统,
jdk1.6.0_05,
eclipse-jee-indigo-win32 Release 3.7.0,
cygwin 1.7.9-1,
hadoop-0.20.2,
三、配置步骤:
1、安装cygwin:
cygwin网上的资料很多,这里就不再详述。
2、JAVA安装
对于JAVA的安装与环境配置这里也不再详述,如果不清楚的话,百度一下你就知道了。
JAVA_HOME=C:/Java/jdk1.6.0_05
3、配置Hadoop
3.1、配置hadoop-env.sh文件,设置export JAVA_HOME=C:/Java/jdk1.6.0_05
3.2、配置HADOOP_HOME=D:\adsitcloud\hadoop-0.20.2
3.3、配置core-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/adsitcloud/temporary</value>
</property>
</configuration>
3.4、配置hdfs-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
3.5、配置mapred-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>
3.6、Hadoop启动和一些基本命令
在cygwin环境中,进入Hadoop安装目录,
cd /cygdrive/d/adsitcloud/hadoop-0.20.2
a、格式化hadoop命名节点:bin/hadoop namenode -format
b、启动Hdfs和MapReduce,在这里可以全部启动:bin/start-all.sh
c、以下是基本命令
bin/hadoop dsfadmin –report 查看运行状况,验证配置是否成功,查看datanodes中正常和不正常的个数
bin/hadoop dfs –mkdir yesq 创建名为yesq的目录
bin/hadoop dfs –put .bin/*.txt yesq 把上一目录下所有的txt文件上传到yesq目录
bin/hadoop dfs –ls yesq 列出yesq目录下的文件,输出文件列表信息,此时可以看到刚上传的txt文件。表时已经配置成功。
3.7、输入以下网址查看是否配置成功。
http://localhost:50070/dfshealth.jsp
点击:Browse the filesystem,并一直点击目录文件,此时也可以看到刚才上传的txt文件。
四、安装eclipse以hadoop-eclipse-plugin
4.1、eclipse的下载安装这里不再详述,如果不清楚的话,google一下你就知道的太多了。
4.2、安装hadoop-eclipse-plugin
a、在eclipse的安装目录下新建文件夹:links
b、新建链接文件,hadoop.link ,内容为:path=E:\\eclipsePlugins\\hadoop
c、在path目录下新建文件夹:plugins,并把hadoop-eclipse-plugin-0.20.3-SNAPSHOT.jar放在该目录下,即:E:\eclipsePlugins\hadoop\plugins,hadoop-0.20.2的插件一定要用这个,如果用本身自带的0.20.2插件的话,eclipse调试时无法弹出Run on Hadoop
d、删除E:\Program Files\eclipse\configuration下的org.eclipse.update文件夹
五、Eclipse结合Hadoop环境
a、启动eclipse
b、点击Open Perspective>Other,此时可以看到Map/Reduce的小蓝像,点击选择,此时可以看到DFS Locations的一个树形目录,下面有localhost的大象以及在上面新建的目录,以及该新建目录下的txt文件。
c、点击左下角的Show View as a Fast View,再点击Other,此时可以看到 Map/Reduce Locations的小黄色大象,
此时右建选择 New Hadoop location...,弹出圣诞框。
d、点击General选项卡>输入 Location name:localhost>Map/Reduce Master下Host:localhost Port:9001>
DFS Master下输入Port:9000>在User name下输入yesq>点击Finish。
e、在eclipse下配置HADOOP HOME,选择Window>Preferences>选择Hadoop MAP/Reduce>点击Browse...选择Hadoop安装目录,我的安装目录是:D:\adsitcloud\hadoop-0.20.2>点击OK。
六、结束语
到此在XP系统下配置eclipse集合Hadoop已经配置完成,可以进行开发了,在File New的时候可以看到Map/Reduce等图标。
发表评论
-
用Sqoop把数据从HDFS导入到MYSQL
2012-10-27 23:30 2356转自:http://www.kaifajie.cn/mySQL ... -
大数据的储存:百度HDFS集群的数据压缩
2012-08-30 17:48 12112012年4月13日,由IT168(ITP ... -
用sqoop进行mysql和hdfs系统间的数据互导
2012-07-31 16:32 1944转自:http://abloz.com/2012/07/19/ ... -
从hive将数据导出到mysql
2012-07-31 16:31 1826转自:http://abloz.com/2012/07/20/ ... -
Hive SQL
2012-07-19 13:49 1427转自:http://www.tbdata.org/ ... -
Hive优化总结
2012-07-09 15:18 4335优化时,把hive sql当做ma ... -
hadoop/mapred 优化方法
2012-06-12 11:47 1397从三个方面着手优化 : 1. hadoop配置 2. ... -
hadoop集群dfs.data.dir目录权限问题导致节点无法启动
2012-06-11 18:32 6228安装使用Hive的时候发现文件无法从本地拷贝到hadoo ... -
hadoop中的balancer
2012-06-11 15:49 1148对于HDFS集群,经常长时间的运行,尤其是大量的delete操 ... -
Hadoop集群上使用Lzo压缩
2012-05-28 11:03 935转自:http://www.tech126.com/hadoo ... -
使用Hive读取Hbase中的数据
2012-05-23 13:12 2275转自:http://www.4ucode.com/Study/ ... -
使用Hive读取Hbase中的数据
2012-04-18 14:24 1099转自:http://www.4ucode.com/Study/ ... -
Web日志分析方法概述 让复杂的数据挖掘变得简单可行
2012-04-13 16:31 874志在计算机系统中是一个非常广泛的概念,任何程序都有可能输出日志 ... -
应用sqoop将MySQL数据库中的数据导入Hbase
2012-04-12 11:31 2066转自:http://www.bwxxkj.com/a/jish ... -
hadoop中的trash机制,恢复删除的文件
2012-03-31 13:46 2201Hadoop回收站trash,默认是关闭的。 1.修改con ... -
Hadoop 和DBMS 的互补性
2012-03-29 12:22 673随着Microsoft 也加入Hadoop 阵营,Hadoop ... -
Hadoop 中的两表join
2012-03-29 12:20 852转自:http://www.gemini52013 ... -
各版本编译hadoop eclipse plugin
2012-03-29 12:19 1386转自:http://www.gemini52013 ... -
hadoop常见错误
2012-03-24 13:04 1671错误1:bin/hadoop dfs 不能正常启动,持续提 ... -
hbase运维
2012-03-23 17:33 1308转自:http://blog.bluedavy.c ...
相关推荐
本篇将详细讲解如何在Linux和Windows操作系统下配置Eclipse进行Hadoop开发。 **一、Linux环境下配置Eclipse开发Hadoop** 1. **安装Java**: Hadoop依赖Java运行环境,首先确保系统已安装Java,并且版本至少为Java 8...
基于 Eclipse 的 Hadoop 应用开发环境配置是指在 Eclipse 中配置 Hadoop 开发环境,以便开发和运行 Hadoop 应用程序。本节将对基于 Eclipse 的 Hadoop 应用开发环境配置进行详细介绍。 一、Hadoop 概述 Hadoop 是...
在Windows操作系统中,Eclipse是一款广泛使用的Java集成开发环境(IDE),它对于开发分布式计算框架如Hadoop、Spark以及数据仓库工具Hive来说,是非常有用的。本教程将深入讲解如何在Eclipse中集成这些组件,以创建...
Eclipse 配置 Hadoop 及 MapReduce 开发指南 一、Eclipse 中配置 Hadoop 插件 配置 Hadoop 插件是使用 Eclipse 进行 MapReduce 开发的第一步。首先,需要安装 Eclipse 3.3.2 和 Hadoop 0.20.2-eclipse-plugin.jar ...
通过上述步骤,我们不仅成功地在Eclipse中安装了Hadoop插件,还进一步配置了Hadoop环境,包括设置Hadoop集群的位置、释放Hadoop-common库以及关闭HDFS的权限检查等功能。这些操作有助于提高Hadoop程序开发的效率和...
此jar包是由hadoop-1.0.4集成到Java EE eclipse DFS 请不要下错哦!~
首先,"Eclipse开发Hadoop相关项目本地配置插件"涉及到的主要目标是在本地环境中设置一个支持Hadoop开发的工作站。这包括安装和配置Hadoop环境,以及在Eclipse中集成Hadoop相关的开发工具。 1. **安装Hadoop**:在...
在Windows 7环境下,配置Eclipse来开发Hadoop项目,我们需要安装特定的插件并进行一系列设置。本文将详细介绍如何在Eclipse中配置Hadoop 2.6的插件,以便于进行分布式计算开发。 首先,我们要理解Hadoop是Apache...
Eclipse是一个强大的集成开发环境,支持多种编程语言,包括Java,而Hadoop是一个分布式计算框架,主要处理和存储大规模数据。 首先,我们需要确保已正确安装了Eclipse和Hadoop。在安装Hadoop时,遵循官方文档或网络...
本标题表明本文档的主要内容是关于在Ubuntu操作系统下使用Eclipse开发Hadoop应用程序。 描述: 本文档详细记录了如何在ubuntu下安装eclipse,以及如何在eclipse中安装hadoop插件,最后运行程序。 本描述明确了本...
附件包含eclipse在window7配置hadoop2.7.x 开发环境需要的jar、dll。具体安装步骤可以参考:https://blog.csdn.net/wudichengyaojin/article/details/64440655 可能遇到的问题参考: ...
标题中的“eclipse连接hadoop相关工具”指的是在Eclipse集成开发环境中配置和使用Hadoop的相关组件,以便于开发和调试Hadoop MapReduce程序。这个主题涵盖了Eclipse插件、Hadoop的DLL文件以及Winutils工具,这些都是...
在Windows环境下进行Hadoop开发,Eclipse是一个常用的集成开发环境。本文档将详细介绍如何配置Eclipse以便连接到Hadoop集群,使得开发过程更加便捷。 **1. Hadoop开发环境配置** 1.1 Hadoop集群简介 Hadoop是一个...
在Windows环境下,开发基于Hadoop的Java应用程序通常需要一个集成开发环境(IDE),Eclipse是其中常用的一个。本文将详细讲解如何使用Eclipse与Hadoop 2.2.0插件进行连接,以便于在Windows操作系统上进行Hadoop相关...
通过上述步骤,我们不仅完成了在Eclipse环境下配置Hadoop开发环境的任务,还成功实现了WordCount程序的开发与运行,这对于初学者来说是非常好的实践案例。未来可以在此基础上尝试更复杂的大数据处理任务,进一步探索...
标题中的“在eclipse中配置hadoop插件”是指在集成开发环境Eclipse中安装和配置Hadoop插件,以便于开发和调试Hadoop MapReduce项目。这个过程涉及到多个步骤和知识点,包括Eclipse的扩展性、Hadoop的开发工具支持...
目的很简单,为进行研究与学习,部署一个hadoop运行环境,并搭建一个...2.在windows 上能够使用eclipse连接ubuntu系统上部署的hadoop进行开发与测试 3.只需要在eclipse中“Run on Hadoop",不需要自己打包上传运行。
Eclipse的Hadoop插件是开发Hadoop MapReduce应用程序的重要工具,它允许开发者在熟悉的Eclipse集成开发环境中(IDE)编写、调试和管理Hadoop项目。这个插件专为Hadoop 0.20.2版本设计,并且要求Eclipse版本为3.5。在...