由于最近在修改hadoop的权限配置,需要重新编译打包源码,由于每次导入hadoop源码到eclipse中,有点小麻烦,所以写此文。
1.新建一个java工程,将该工程下面的.classpath .project 拷贝到$HADOOP_HOME下面,然后修改.project里面,将工程名字修改为hadoop-1.0.3
<?xml version="1.0" encoding="UTF-8"?>
<projectDescription>
<name>hadoop-1.0.3</name>
<comment>
</comment>
<projects>
</projects>
<buildSpec>
<buildCommand>
<name>org.eclipse.jdt.core.javabuilder</name>
<arguments>
</arguments>
</buildCommand>
</buildSpec>
<natures>
<nature>org.eclipse.jdt.core.javanature</nature>
</natures>
</projectDescription>
2.修改.classpath
<classpathentry kind="src" output="build/eclipse/classes-main" path="src/core"/>
<classpathentry kind="src" output="build/eclipse/classes-main" path="src/hdfs"/>
<classpathentry kind="src" output="build/eclipse/classes-main" path="src/mapred"/>
<classpathentry kind="src" output="build/eclipse/classes-main" path="src/tools"/>
</classpathentry>
3.编译打包
由于hadoop打包时需要依赖于操作系统的底层。
sudo apt-get install autoconf
sudo apt-get install automake
sudo apt-get install autotool
sudo apt-get install libtool
4.安装jdk1.5 和apache-forrest-0.8
打包命令:ant package -Djava5.home=/home/rongneng/env/jdk1.5.0_22 -Dforrest.home=/home/rongneng/env/apache-forrest-0.8
执行命令。。。。。。。。。。。。。。第一次很慢。。。。。。耐心等待。。。。。。。成功!!!!
build目录下面就是打包生存的jar包
相关推荐
3. **作业提交**:开发者可以直接在Eclipse中编译、打包和提交MapReduce作业到Hadoop集群,无需手动执行命令行操作,极大地简化了开发流程。 4. **调试支持**:插件提供了强大的调试功能,可以在本地模拟运行...
导航到Hadoop源代码的根目录,Eclipse会自动识别pom.xml文件并导入项目。 在导入源码后,可能会出现一些错误,主要是由于依赖问题。解决这些问题,你需要检查每个子模块的pom.xml文件,确保所有依赖项都正确配置。...
2. **配置Hadoop环境**:在Eclipse中使用Hadoop插件之前,需要确保Hadoop已经在本地正确安装,并配置了环境变量。这包括设置`HADOOP_HOME`和将`hadoop/bin`和`hadoop/sbin`目录添加到`PATH`中。 3. **创建Hadoop...
这些文件通常包括Java源代码,以及相关的编译和打包脚本。 总的来说,"Hadoop与Eclipse连接所需文件"这个压缩包旨在提供一个便捷的环境,让开发者能够在Eclipse中快速建立Hadoop开发环境,进行MapReduce编程。通过...
在Eclipse中集成这个插件后,开发者可以创建新的Hadoop项目,导入HDFS和MapReduce相关的库,编写Mapper和Reducer类,并通过插件直接提交任务到运行的Hadoop集群。同时,Eclipse的调试器可以帮助定位代码问题,提供对...
【编译Hadoop Eclipse插件】是开发Hadoop应用程序的重要步骤,它允许开发者在Eclipse环境中直接编写、调试和管理Hadoop项目。本教程将详细解释如何编译和安装Hadoop Eclipse插件。 首先,确保你已经安装了**Java 8*...
3. **使用Ant编译源码并生成Eclipse配置文件**: 进入Hadoop源码目录,执行ant clean清除之前编译的产物,然后执行ant eclipse命令,这将生成Eclipse所需的.classpath和.project文件,使Hadoop源码能在Eclipse环境中...
在本教程中,我们将深入探讨如何使用Cygwin和Eclipse搭建Hadoop的单机开发环境,以便在Windows操作系统上进行高效的数据处理和分析。Cygwin是一个提供Linux-like环境的开源工具集,使得Windows用户可以运行原本为...
3. **构建与部署**:Eclipse插件能够直接将你的Hadoop项目打包为JAR文件,并通过Hadoop集群进行编译和运行,无需离开IDE。 4. **调试支持**:具备强大的调试工具,可以设置断点,查看变量值,单步执行等,极大地...
当你的MapReduce程序完成开发并经过本地测试后,你可以使用Hadoop的命令行工具将其打包成JAR文件,然后提交到集群上执行。 总结来说,"hadoop eclipse mapreduce下开发所有需要用到的JAR包"涉及到的是Hadoop ...
使用Eclipse的编译功能将Java源码编译成字节码,并使用Hadoop的jar命令将其打包成可执行的JAR文件。 4. **配置运行**: - 创建一个Hadoop Job Configuration,在其中指定输入文件的位置、输出目录、Mapper和...
为了使用这个插件,开发者需要下载"hadoop2x-eclipse-plugin-master"压缩包,解压后按照官方文档或在线教程的步骤将其导入到Eclipse中。然后,就可以在Eclipse中创建和管理Hadoop项目,享受无缝的开发体验了。 总之...
- 安装Java Development Kit (JDK):Eclipse和Hadoop插件的编译都需要Java环境,确保JDK已经安装并配置好环境变量。 - 安装Eclipse IDE:选择与Hadoop版本兼容的Eclipse版本,例如,如果是Hadoop 2.x,则需要支持...
在编写好MapReduce程序后,需要使用命令mvn clean package来编译和打包程序,并将其上传到Hadoop集群中。 在Hadoop集群中,可以使用命令hadoop jar myHadoop-1.0-SNAPSHOT.jar org.conan.myhadoop.mr.WordCount来...
总结来说,编译Hadoop Eclipse-plugin涉及了创建新工作区、导入项目、配置构建设置、修改构建文件以及利用Ant和Ivy进行编译和打包。这个过程对于任何想在Eclipse中进行Hadoop开发的人来说都是至关重要的,因为它允许...
具体步骤包括配置Eclipse的Hadoop插件、创建Hadoop项目、编写MapReduce程序、打包并提交作业到Hadoop集群执行。 ### 在Windows中使用Cygwin安装HBase HBase是Hadoop生态系统中的一个重要组件,主要用于存储非结构...
- 配置插件需要设置Hadoop集群的地址和端口,以及正确导入Hadoop相关库。 4. **环境配置**: - 开发Hadoop需要安装合适的JDK版本,Windows系统区分32位和64位,Linux也有相应的对应。 - 设置Java环境变量,包括...
在Eclipse中,你需要把这些JAR文件添加到你的项目构建路径中,以确保编译和运行时能够正确引用Hadoop的API。 为了将"lib"文件夹中的JAR添加到Eclipse项目,你可以按照以下步骤操作: 1. 打开Eclipse,选择你的...
- **编译与构建**:自动编译Java源码并打包成JAR,适用于Hadoop环境。 - **本地模拟运行**:在不依赖实际集群的情况下,进行MapReduce任务的本地调试。 - **提交到集群**:一键将MapReduce作业提交到Hadoop集群...