`
dacoolbaby
  • 浏览: 1266055 次
  • 性别: Icon_minigender_1
  • 来自: 广州
社区版块
存档分类
最新评论

配置Eclipse连接Hadoop

 
阅读更多

我的Hadoop配置在开源的Virtual-box上面,系统是Ubuntu 12.04

 

配置Hadoop开发环境的文章就很多了,这里不累述。

这里是我Hadoop单机模式下的配置。

注意一点,地址要用本机的IP地址,不要用localhost,否则Eclipse会连接失败。

因为这一点,我反复搞了2个星期。

 

贴上代码:

core-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
<property>
  <name>hadoop.tmp.dir</name>
  <value>/usr/hadoop/hadoop-1.0.4/tmp</value>
  <description>A base for other temporary directions</description>
</property> 
<property>
  <name>fs.default.name</name>
  <value>hdfs://192.168.1.102:9000</value>
</property>
</configuration>

 

hdfs-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
 <property>
    <name>dfs.data.dir</name>
    <value>/usr/hadoop/hadoop-1.0.4/data</value>
  </property>

 <property>
    <name>dfs.name.dir</name>
    <value>/usr/hadoop/hadoop-1.0.4/name</value>
  </property>

<property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
</configuration>

 

mapred-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
  <property>
    <name>mapred.job.tracker</name>
    <value>192.168.1.102:9001</value>
  </property>
</configuration>

 

另外,注意一点,在Eclipse插件配置的地方,要和这里的配置是一样的。

比如说:hadoop.tmp.dir 对应的路径,要配置上去Eclipse

同理有:dfs.data.dir , dfs.name.dir。

 

另外,遇到了一些无法创建路径的问题,

这些问题需要通过Linux文件系统授权来完成。

详情请看附件。

 

 

 

 

分享到:
评论

相关推荐

    eclipse连接hadoop相关工具

    在Windows上配置Eclipse连接Hadoop时,首先需要确保正确安装了JDK,并设置了JAVA_HOME环境变量。然后,将“hadoop-eclipse-plugin-2.7.3.jar”添加到Eclipse的插件目录,重启Eclipse,这样Eclipse就会识别并支持...

    eclipse连接hadoop插件2.6.0/5 2.7.3

    本压缩包提供的是针对Eclipse连接Hadoop的不同版本插件,适用于不同版本的Eclipse,因为每个Eclipse版本可能需要兼容的插件版本不同。 1. **Hadoop插件的作用**: Hadoop插件为Eclipse提供了与Hadoop集群交互的...

    Linux和Win下配置eclipse开发hadoop

    8. **配置Eclipse**: 在Eclipse的`Window &gt; Preferences &gt; Hadoop Map/Reduce`中配置Hadoop的连接信息,如Hadoop的安装路径和集群地址。 9. **创建项目**: 创建一个Map/Reduce项目,编写Hadoop程序,如WordCount...

    eclipse连接hadoop的操作文档

    是windows下eclipse连接hadoop的操作文档,注意系统环境变量一定要配置

    eclipse安装Hadoop插件

    4. **测试连接**:当以上步骤都已完成并且集群运行正常时,应该能够通过Eclipse连接到Hadoop集群并加载其中的文件。 #### 六、释放Hadoop-Common库 1. **解压位置**:将`Hadoop-common.zip`解压至指定位置,例如`E...

    eclipse连接hadoop所需要的hadoop.ddl和eclipse插件和hadoop运行案例

    以下是对"eclipse连接hadoop所需要的hadoop.ddl和eclipse插件和hadoop运行案例"这一主题的详细解释: 首先,让我们了解`hadoop.ddl`。DDL(Data Definition Language)通常指的是数据库中用于定义数据结构的语句,...

    windows下连接hadoop2.2.0的eclipse+hadoop插件

    本文将详细讲解如何使用Eclipse与Hadoop 2.2.0插件进行连接,以便于在Windows操作系统上进行Hadoop相关的开发工作。 首先,我们需要确保已经安装了Eclipse IDE。Eclipse是一个开放源码的Java集成开发环境,适用于...

    eclipse连接hadoop需要的文件

    标题中的“eclipse连接hadoop需要的文件”指的是在Eclipse集成开发环境中配置Hadoop环境,以便进行Hadoop相关的开发工作。Eclipse是一款强大的Java IDE,而Hadoop是一个开源的分布式计算框架,常用于大数据处理。...

    Eclipse连接hadoop开发.doc

    【Eclipse连接Hadoop开发】 在Windows环境下进行Hadoop开发,Eclipse是一个常用的集成开发环境。本文档将详细介绍如何配置Eclipse以便连接到Hadoop集群,使得开发过程更加便捷。 **1. Hadoop开发环境配置** 1.1 ...

    win7下eclipse配置hadoop的插件

    5. **测试连接**:配置完成后,你可以通过Eclipse的“资源管理器视图”(Hadoop Explorer)来连接到Hadoop集群,检查是否能列出集群中的节点和文件系统。 6. **编写和运行MapReduce程序**:现在,你已经可以在...

    Eclipse开发Hadoop相关项目本地配置插件

    5. **连接Hadoop集群**:在Eclipse中配置Hadoop连接,可以让你在本地IDE中调试运行在远程集群上的作业。通过"Big Data Tools",可以在"Window" -&gt; "Preferences" -&gt; "Big Data" -&gt; "Hadoop Cluster"中添加和管理...

    eclipse搭建hadoop-3.1.2所需插件.rar

    7. **配置Hadoop环境**:在Eclipse中,右键点击项目 -&gt; "Properties" -&gt; "Hadoop Configuration",在此处配置Hadoop的安装路径和相关参数,确保Eclipse能正确连接到Hadoop集群。 8. **开发与调试**:现在,你可以...

    eclipse 操作Hadoop插件

    1. **连接 Hadoop 集群**:配置 Hadoop 集群的相关信息,如 NameNode 地址、Hadoop 版本等,使 Eclipse 可以连接到运行中的 Hadoop 集群。 2. **资源浏览**:在 Eclipse 的 Package Explorer 或者 Project Explorer...

    eclipse-hadoop3x-master.zip

    5. **运行和测试配置**:Eclipse的工作空间配置文件,可能包括Hadoop集群的连接信息和测试用例。 6. **文档**:可能包含README文件或其他文档,指导用户如何导入和使用该项目。 7. **设置文件**:如`settings.xml`...

    64位Win7下Eclipse连接Hadoop用插件2.7.4

    包含几个源编译中漏掉的包,servlet-api,commons-io,更新了htrace-core-3.1.0-incubating.jar

    Eclipse Hadoop2.7插件

    1. **项目创建**:插件提供了创建Hadoop项目的向导,指导用户设置必要的配置,如Hadoop版本、集群地址等。 2. **编辑器支持**:支持Hadoop相关的配置文件(如hdfs-site.xml、mapred-site.xml、core-site.xml)的...

    eclipse集成hadoop+spark+hive开发源码实例

    9. **建立连接**:在Eclipse中配置Hadoop和Spark连接,使得Eclipse能够与本地或远程Hadoop和Spark集群通信。 10. **开发源码**:现在你可以在Eclipse中编写Hadoop MapReduce、Spark应用和Hive查询。使用Eclipse的...

    在eclipse中配置hadoop插件

    6. 连接Hadoop集群:配置好环境后,可以通过插件直接将项目部署到Hadoop集群上进行测试和运行。这通常涉及到选择JobTracker的地址,以及设置其他运行参数。 7. 调试和日志查看:Hadoop插件还提供了查看日志和调试...

    Map-Reduce原理体系架构和工作机制,eclipse与Hadoop集群连接

    连接Hadoop集群** - 在Eclipse中配置Hadoop集群的详细信息,包括NameNode和JobTracker的地址。 - 测试连接以确保一切正常。 **3. 开发Map-Reduce应用程序** - 使用Eclipse创建新的Map-Reduce项目。 - 编写Map和...

Global site tag (gtag.js) - Google Analytics