An internal error occurred during: "Connecting to DFS Hadoop".org/apache/commons/configuration/Configuration
Hadoop版本:Hadoop-1.0.3
安装过程遇到的问题:An internal error occurred during: "Connecting to DFS Hadoop".org/apache/commons/configuration/Configuration
解决方法:
对hadoop-eclipse-plugin-1.0.3.jar进行修改。
1. 用归档管理器打开该包,发现只有commons-cli-1.2.jar 和hadoop-core.jar两个包。
将HADOOP_HOME/lib目录下的 commons-configuration-1.6.jar , commons-httpclient-3.0.1.jar , commons-lang-2.4.jar , jackson-core-asl-1.8.8.jar 和 jackson-mapper-asl-1.8.8.jar复制到hadoop-eclipse-plugin-1.0.3.jar的lib目录下
2. 修改该包META-INF目录下的MANIFEST.MF,将classpath修改为:
Bundle-ClassPath: classes/,lib/hadoop-core.jar,lib/commons-cli-1.2.jar,lib/commons-httpclient-3.0.1.jar,lib/jackson-core-asl-1.8.8.jar,lib/jackson-mapper-asl-1.8.8.jar,lib/commons-configuration-1.6.jar,lib/commons-lang-2.4.jar
最后,将hadoop-eclipse-plugin-1.0.3.jar复制到Eclipse的plugins目录下。
设置Hadoop的环境参数
Location Name : 此处为参数设置名称,可以任意填写
Map/Reduce Master(地址必须和mapred-site.xml中的mapred.job.tracker相同)
Host: localhost, port: 9001
DFS Master(地址必须和core-site.xml中的 fs.default.name相同)
Host: localhost,Port: 9000
分享到:
相关推荐
Hadoop-Eclipse-Plugin 2.8.0的出现,反映了Hadoop生态系统从Hadoop 1到Hadoop 2的重大转变,尤其是在资源管理和任务调度方面的改进。同时,这也意味着对于那些已经习惯了Eclipse或MyEclipse的开发者来说,他们无需...
hadoop eclipse插件 cdh3版本
Hadoop Eclipse是Hadoop开发环境的插件,用户在创建Hadoop程序时,Eclipse插件会自动导入Hadoop编程接口的jar文件,这样用户就可以在Eclipse插件的图形界面中进行编码、调试和运行Hadop程序,也能通过Eclipse插件...
hadoop eclipse 插件2.6.0 开发hadoop必备的插件 值得下载
hadoop eclipse build
1. **项目创建与导入**:通过Hadoop Eclipse插件,开发者可以轻松创建Hadoop MapReduce项目,同时支持将现有项目导入为Hadoop项目,方便进行分布式计算的开发。 2. **资源管理器视图**:插件提供了一个HDFS资源管理...
1. **项目配置**:在Eclipse中可以直接创建Hadoop MapReduce项目,设置Hadoop集群的配置信息,如 Namenode 和 JobTracker 的地址。 2. **资源管理**:通过插件可以浏览HDFS文件系统,上传或下载文件,查看文件属性...
1. **Hadoop简介**:Hadoop是一个开源的分布式计算框架,基于Google的MapReduce编程模型和GFS(Google File System)文件系统设计。它允许在廉价硬件上处理大规模数据,提供高容错性和高可扩展性。 2. **Eclipse ...
1. **创建Hadoop项目**:在Eclipse中直接创建Hadoop项目,设置所需的Hadoop配置,如集群地址、端口等。 2. **集成开发环境**:通过内置的编辑器编写MapReduce程序,享受代码自动完成、语法高亮和错误检查等功能。 ...
1. **Hadoop概述** Hadoop是一个开源框架,由Apache软件基金会维护,用于存储和处理大数据。它基于分布式文件系统HDFS(Hadoop Distributed File System)和MapReduce计算模型,能够处理PB级别的数据。 2. **...
Hadoop Eclipse插件是开发Hadoop MapReduce程序的重要工具,它允许开发者在本地Eclipse集成开发环境中直接编写、测试和调试Hadoop作业,极大地提高了开发效率。以下是对这个插件的详细说明: 首先,安装Hadoop ...
1. **Hadoop概述**: Hadoop是一个开源框架,由Apache基金会维护,主要用于处理和存储大量数据。它的核心组件包括HDFS(Hadoop Distributed File System)和MapReduce,这两个组件共同构建了一个高度容错的分布式...
1. **创建Hadoop项目**:选择“File” > “New” > “Hadoop Map/Reduce Project”,输入项目名,设置Hadoop配置,就可以创建一个全新的Hadoop项目。 2. **编写MapReduce代码**:在项目中,开发者可以创建Java类,...
1. **直接在Eclipse中创建Hadoop项目**:无需手动配置复杂的环境,只需几步操作即可生成符合Hadoop运行规范的项目结构。 2. **可视化集群管理**:查看和管理Hadoop集群的节点状态,包括数据节点、任务节点等,方便...
2.5.2版本的Hadoop Eclipse Plugin可能包含早期的一些特性,如对Hadoop 1.x系列的支持,那时的Hadoop架构相对简单,主要关注批处理场景。而2.6.0版本则可能引入了对Hadoop 2.x系列的兼容,其中YARN(Yet Another ...
1. **项目创建与管理**:用户可以创建新的Hadoop项目,并且配置相关属性,如Hadoop的运行环境、JAR包路径等。 2. **代码编辑与编译**:Eclipse的优秀代码编辑和自动完成功能得以保留,帮助开发者编写高质量的...
1. **下载与安装Hadoop**:首先,你需要下载并安装适合你操作系统的Hadoop版本。这通常涉及配置Hadoop的环境变量,包括`HADOOP_HOME`,确保Hadoop可执行文件能够被系统识别。 2. **下载与安装Eclipse**:选择适用于...
1. **Hadoop-Eclipse插件安装与配置**:要使用Hadoop-Eclipse插件,首先需要在Eclipse中安装该插件。这可以通过Eclipse的“Help”菜单 -> "Install New Software" -> "Add" 来完成,然后提供下载的插件JAR文件路径...
Eclipse集成Hadoop2.10.0的插件,使用`ant`对hadoop的jar包进行打包并适应Eclipse加载,所以参数里有hadoop和eclipse的目录. 必须注意对于不同的hadoop版本,` HADDOP_INSTALL_PATH/share/hadoop/common/lib`下的jar包...
1. **项目创建与管理**:用户可以在Eclipse中直接创建Hadoop MapReduce项目,插件会自动生成必要的项目结构和模板代码,便于快速入门。 2. **资源管理**:插件允许用户浏览和管理HDFS(Hadoop Distributed File ...