我的Hadoop配置在开源的Virtual-box上面,系统是Ubuntu 12.04
配置Hadoop开发环境的文章就很多了,这里不累述。
这里是我Hadoop单机模式下的配置。
注意一点,地址要用本机的IP地址,不要用localhost,否则Eclipse会连接失败。
因为这一点,我反复搞了2个星期。
贴上代码:
core-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/hadoop/hadoop-1.0.4/tmp</value>
<description>A base for other temporary directions</description>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://192.168.1.102:9000</value>
</property>
</configuration>
hdfs-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>dfs.data.dir</name>
<value>/usr/hadoop/hadoop-1.0.4/data</value>
</property>
<property>
<name>dfs.name.dir</name>
<value>/usr/hadoop/hadoop-1.0.4/name</value>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
mapred-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>192.168.1.102:9001</value>
</property>
</configuration>
另外,注意一点,在Eclipse插件配置的地方,要和这里的配置是一样的。
比如说:hadoop.tmp.dir 对应的路径,要配置上去Eclipse
同理有:dfs.data.dir , dfs.name.dir。
另外,遇到了一些无法创建路径的问题,
这些问题需要通过Linux文件系统授权来完成。
详情请看附件。
分享到:
相关推荐
在Windows上配置Eclipse连接Hadoop时,首先需要确保正确安装了JDK,并设置了JAVA_HOME环境变量。然后,将“hadoop-eclipse-plugin-2.7.3.jar”添加到Eclipse的插件目录,重启Eclipse,这样Eclipse就会识别并支持...
本压缩包提供的是针对Eclipse连接Hadoop的不同版本插件,适用于不同版本的Eclipse,因为每个Eclipse版本可能需要兼容的插件版本不同。 1. **Hadoop插件的作用**: Hadoop插件为Eclipse提供了与Hadoop集群交互的...
8. **配置Eclipse**: 在Eclipse的`Window > Preferences > Hadoop Map/Reduce`中配置Hadoop的连接信息,如Hadoop的安装路径和集群地址。 9. **创建项目**: 创建一个Map/Reduce项目,编写Hadoop程序,如WordCount...
是windows下eclipse连接hadoop的操作文档,注意系统环境变量一定要配置
4. **测试连接**:当以上步骤都已完成并且集群运行正常时,应该能够通过Eclipse连接到Hadoop集群并加载其中的文件。 #### 六、释放Hadoop-Common库 1. **解压位置**:将`Hadoop-common.zip`解压至指定位置,例如`E...
以下是对"eclipse连接hadoop所需要的hadoop.ddl和eclipse插件和hadoop运行案例"这一主题的详细解释: 首先,让我们了解`hadoop.ddl`。DDL(Data Definition Language)通常指的是数据库中用于定义数据结构的语句,...
本文将详细讲解如何使用Eclipse与Hadoop 2.2.0插件进行连接,以便于在Windows操作系统上进行Hadoop相关的开发工作。 首先,我们需要确保已经安装了Eclipse IDE。Eclipse是一个开放源码的Java集成开发环境,适用于...
标题中的“eclipse连接hadoop需要的文件”指的是在Eclipse集成开发环境中配置Hadoop环境,以便进行Hadoop相关的开发工作。Eclipse是一款强大的Java IDE,而Hadoop是一个开源的分布式计算框架,常用于大数据处理。...
【Eclipse连接Hadoop开发】 在Windows环境下进行Hadoop开发,Eclipse是一个常用的集成开发环境。本文档将详细介绍如何配置Eclipse以便连接到Hadoop集群,使得开发过程更加便捷。 **1. Hadoop开发环境配置** 1.1 ...
5. **测试连接**:配置完成后,你可以通过Eclipse的“资源管理器视图”(Hadoop Explorer)来连接到Hadoop集群,检查是否能列出集群中的节点和文件系统。 6. **编写和运行MapReduce程序**:现在,你已经可以在...
5. **连接Hadoop集群**:在Eclipse中配置Hadoop连接,可以让你在本地IDE中调试运行在远程集群上的作业。通过"Big Data Tools",可以在"Window" -> "Preferences" -> "Big Data" -> "Hadoop Cluster"中添加和管理...
7. **配置Hadoop环境**:在Eclipse中,右键点击项目 -> "Properties" -> "Hadoop Configuration",在此处配置Hadoop的安装路径和相关参数,确保Eclipse能正确连接到Hadoop集群。 8. **开发与调试**:现在,你可以...
1. **连接 Hadoop 集群**:配置 Hadoop 集群的相关信息,如 NameNode 地址、Hadoop 版本等,使 Eclipse 可以连接到运行中的 Hadoop 集群。 2. **资源浏览**:在 Eclipse 的 Package Explorer 或者 Project Explorer...
5. **运行和测试配置**:Eclipse的工作空间配置文件,可能包括Hadoop集群的连接信息和测试用例。 6. **文档**:可能包含README文件或其他文档,指导用户如何导入和使用该项目。 7. **设置文件**:如`settings.xml`...
包含几个源编译中漏掉的包,servlet-api,commons-io,更新了htrace-core-3.1.0-incubating.jar
1. **项目创建**:插件提供了创建Hadoop项目的向导,指导用户设置必要的配置,如Hadoop版本、集群地址等。 2. **编辑器支持**:支持Hadoop相关的配置文件(如hdfs-site.xml、mapred-site.xml、core-site.xml)的...
9. **建立连接**:在Eclipse中配置Hadoop和Spark连接,使得Eclipse能够与本地或远程Hadoop和Spark集群通信。 10. **开发源码**:现在你可以在Eclipse中编写Hadoop MapReduce、Spark应用和Hive查询。使用Eclipse的...
6. 连接Hadoop集群:配置好环境后,可以通过插件直接将项目部署到Hadoop集群上进行测试和运行。这通常涉及到选择JobTracker的地址,以及设置其他运行参数。 7. 调试和日志查看:Hadoop插件还提供了查看日志和调试...
连接Hadoop集群** - 在Eclipse中配置Hadoop集群的详细信息,包括NameNode和JobTracker的地址。 - 测试连接以确保一切正常。 **3. 开发Map-Reduce应用程序** - 使用Eclipse创建新的Map-Reduce项目。 - 编写Map和...