`

hadoop导入eclipse并编译打包

 
阅读更多

由于最近在修改hadoop的权限配置,需要重新编译打包源码,由于每次导入hadoop源码到eclipse中,有点小麻烦,所以写此文。

1.新建一个java工程,将该工程下面的.classpath  .project 拷贝到$HADOOP_HOME下面,然后修改.project里面,将工程名字修改为hadoop-1.0.3

<?xml version="1.0" encoding="UTF-8"?>
<projectDescription>
  <name>hadoop-1.0.3</name>
  <comment>
  </comment>
  <projects>
  </projects>
  <buildSpec>
    <buildCommand>
      <name>org.eclipse.jdt.core.javabuilder</name>
      <arguments>
      </arguments>
    </buildCommand>
  </buildSpec>
  <natures>
    <nature>org.eclipse.jdt.core.javanature</nature>
  </natures>
</projectDescription>

 2.修改.classpath

<classpathentry kind="src" output="build/eclipse/classes-main" path="src/core"/>
        <classpathentry kind="src" output="build/eclipse/classes-main" path="src/hdfs"/>
        <classpathentry kind="src" output="build/eclipse/classes-main" path="src/mapred"/>
        <classpathentry kind="src" output="build/eclipse/classes-main" path="src/tools"/>
</classpathentry>

 3.编译打包

由于hadoop打包时需要依赖于操作系统的底层。

sudo apt-get install autoconf
sudo apt-get install automake

sudo  apt-get install autotool

sudo apt-get install libtool

4.安装jdk1.5apache-forrest-0.8

打包命令:ant package -Djava5.home=/home/rongneng/env/jdk1.5.0_22   -Dforrest.home=/home/rongneng/env/apache-forrest-0.8
执行命令。。。。。。。。。。。。。。第一次很慢。。。。。。耐心等待。。。。。。。成功!!!!

build目录下面就是打包生存的jar包

 

 

分享到:
评论

相关推荐

    hadoop-eclipse-plugin-2.6.0.jar.zip_2.6.0_hadoop_hadoop plugin

    3. **作业提交**:开发者可以直接在Eclipse中编译、打包和提交MapReduce作业到Hadoop集群,无需手动执行命令行操作,极大地简化了开发流程。 4. **调试支持**:插件提供了强大的调试功能,可以在本地模拟运行...

    通过eclipse项目编译 hadoop 1.0.3 eclipse 4.2 ( juno ) plugin

    导航到Hadoop源代码的根目录,Eclipse会自动识别pom.xml文件并导入项目。 在导入源码后,可能会出现一些错误,主要是由于依赖问题。解决这些问题,你需要检查每个子模块的pom.xml文件,确保所有依赖项都正确配置。...

    hadoop1.0.4 eclipse插件及编译方法

    2. **配置Hadoop环境**:在Eclipse中使用Hadoop插件之前,需要确保Hadoop已经在本地正确安装,并配置了环境变量。这包括设置`HADOOP_HOME`和将`hadoop/bin`和`hadoop/sbin`目录添加到`PATH`中。 3. **创建Hadoop...

    Hadoop与Eclipse连接所需文件

    这些文件通常包括Java源代码,以及相关的编译和打包脚本。 总的来说,"Hadoop与Eclipse连接所需文件"这个压缩包旨在提供一个便捷的环境,让开发者能够在Eclipse中快速建立Hadoop开发环境,进行MapReduce编程。通过...

    hadoop1.0.4 eclipse插件

    在Eclipse中集成这个插件后,开发者可以创建新的Hadoop项目,导入HDFS和MapReduce相关的库,编写Mapper和Reducer类,并通过插件直接提交任务到运行的Hadoop集群。同时,Eclipse的调试器可以帮助定位代码问题,提供对...

    编译hadoop eclipse插件文档

    【编译Hadoop Eclipse插件】是开发Hadoop应用程序的重要步骤,它允许开发者在Eclipse环境中直接编写、调试和管理Hadoop项目。本教程将详细解释如何编译和安装Hadoop Eclipse插件。 首先,确保你已经安装了**Java 8*...

    大数据与云计算培训学习资料 hadoop + eclipse源码环境搭建 共6页.pdf

    3. **使用Ant编译源码并生成Eclipse配置文件**: 进入Hadoop源码目录,执行ant clean清除之前编译的产物,然后执行ant eclipse命令,这将生成Eclipse所需的.classpath和.project文件,使Hadoop源码能在Eclipse环境中...

    Cygwin+Eclipse搭建Hadoop单机开发环境-3

    在本教程中,我们将深入探讨如何使用Cygwin和Eclipse搭建Hadoop的单机开发环境,以便在Windows操作系统上进行高效的数据处理和分析。Cygwin是一个提供Linux-like环境的开源工具集,使得Windows用户可以运行原本为...

    eclipse hadoop插件

    3. **构建与部署**:Eclipse插件能够直接将你的Hadoop项目打包为JAR文件,并通过Hadoop集群进行编译和运行,无需离开IDE。 4. **调试支持**:具备强大的调试工具,可以设置断点,查看变量值,单步执行等,极大地...

    hadoop eclipse mapreduce下开发所有需要用到的JAR包

    当你的MapReduce程序完成开发并经过本地测试后,你可以使用Hadoop的命令行工具将其打包成JAR文件,然后提交到集群上执行。 总结来说,"hadoop eclipse mapreduce下开发所有需要用到的JAR包"涉及到的是Hadoop ...

    windows eclipse 运行wordcount连接linux hadoop2.8 NativeIO YARNRunner 完项目 源码

    使用Eclipse的编译功能将Java源码编译成字节码,并使用Hadoop的jar命令将其打包成可执行的JAR文件。 4. **配置运行**: - 创建一个Hadoop Job Configuration,在其中指定输入文件的位置、输出目录、Mapper和...

    hadoop-2.x-eclipse-plugin-master.zip

    为了使用这个插件,开发者需要下载"hadoop2x-eclipse-plugin-master"压缩包,解压后按照官方文档或在线教程的步骤将其导入到Eclipse中。然后,就可以在Eclipse中创建和管理Hadoop项目,享受无缝的开发体验了。 总之...

    第二节:win 7下编译eclispe hadoop plugin

    - 安装Java Development Kit (JDK):Eclipse和Hadoop插件的编译都需要Java环境,确保JDK已经安装并配置好环境变量。 - 安装Eclipse IDE:选择与Hadoop版本兼容的Eclipse版本,例如,如果是Hadoop 2.x,则需要支持...

    linux下maven在eclipse安装测试Hadoop收集.pdf

    在编写好MapReduce程序后,需要使用命令mvn clean package来编译和打包程序,并将其上传到Hadoop集群中。 在Hadoop集群中,可以使用命令hadoop jar myHadoop-1.0-SNAPSHOT.jar org.conan.myhadoop.mr.WordCount来...

    Hadoopeclipse-plugin编译方法[借鉴].pdf

    总结来说,编译Hadoop Eclipse-plugin涉及了创建新工作区、导入项目、配置构建设置、修改构建文件以及利用Ant和Ivy进行编译和打包。这个过程对于任何想在Eclipse中进行Hadoop开发的人来说都是至关重要的,因为它允许...

    Hadoop开发者第一期入门专刊

    具体步骤包括配置Eclipse的Hadoop插件、创建Hadoop项目、编写MapReduce程序、打包并提交作业到Hadoop集群执行。 ### 在Windows中使用Cygwin安装HBase HBase是Hadoop生态系统中的一个重要组件,主要用于存储非结构...

    零基础学习hadoop(编程篇).docx

    - 配置插件需要设置Hadoop集群的地址和端口,以及正确导入Hadoop相关库。 4. **环境配置**: - 开发Hadoop需要安装合适的JDK版本,Windows系统区分32位和64位,Linux也有相应的对应。 - 设置Java环境变量,包括...

    esplise插件搭建Hadoop环境

    在Eclipse中,你需要把这些JAR文件添加到你的项目构建路径中,以确保编译和运行时能够正确引用Hadoop的API。 为了将"lib"文件夹中的JAR添加到Eclipse项目,你可以按照以下步骤操作: 1. 打开Eclipse,选择你的...

    hadoop插件.rar

    - **编译与构建**:自动编译Java源码并打包成JAR,适用于Hadoop环境。 - **本地模拟运行**:在不依赖实际集群的情况下,进行MapReduce任务的本地调试。 - **提交到集群**:一键将MapReduce作业提交到Hadoop集群...

Global site tag (gtag.js) - Google Analytics