Maven 仓库中没有 Hadoop 的源代码包,网络上也找不到可以直接用的,于是在官网下载整个Hadoop-1.2.1 包,提取出相应的源代码,打包后丢给 Eclipse ,仍然无法显示(奇怪,)。
解决步骤:
1,Eclipse 新建 Maven 项目,groupId 随意(建议不要为 org.apache.hadoop),artifactId 为 hadoop-core, 版本 1.2.1, package 为 jar
2,把Hadoop 源码放入 src/main/java 中
3,编辑pom.xml,引入依赖(详见下文)
4,编辑pom.xml,添加相应插件(javaDoc 和 source)
5,mvn install
6,更新相关项目对Hadoop 的引用
7,发布时记得改回来:)
抛砖引玉,如果有更好的解决麻烦告知,先谢过。
pom.xml
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
<modelVersion>4.0.0</modelVersion>
<groupId>com.yourcomany</groupId>
<artifactId>hadoop-core</artifactId>
<version>1.2.1</version>
<dependencies>
<dependency>
<groupId>commons-cli</groupId>
<artifactId>commons-cli</artifactId>
<version>1.2</version>
</dependency>
<dependency>
<groupId>xmlenc</groupId>
<artifactId>xmlenc</artifactId>
<version>0.52</version>
</dependency>
<dependency>
<groupId>com.sun.jersey</groupId>
<artifactId>jersey-core</artifactId>
<version>1.8</version>
</dependency>
<dependency>
<groupId>com.sun.jersey</groupId>
<artifactId>jersey-json</artifactId>
<version>1.8</version>
</dependency>
<dependency>
<groupId>com.sun.jersey</groupId>
<artifactId>jersey-server</artifactId>
<version>1.8</version>
</dependency>
<dependency>
<groupId>commons-io</groupId>
<artifactId>commons-io</artifactId>
<version>2.1</version>
</dependency>
<dependency>
<groupId>commons-httpclient</groupId>
<artifactId>commons-httpclient</artifactId>
<version>3.0.1</version>
</dependency>
<dependency>
<groupId>commons-codec</groupId>
<artifactId>commons-codec</artifactId>
<version>1.4</version>
</dependency>
<dependency>
<groupId>org.apache.commons</groupId>
<artifactId>commons-math</artifactId>
<version>2.1</version>
</dependency>
<dependency>
<groupId>commons-configuration</groupId>
<artifactId>commons-configuration</artifactId>
<version>1.6</version>
</dependency>
<dependency>
<groupId>commons-net</groupId>
<artifactId>commons-net</artifactId>
<version>1.4.1</version>
</dependency>
<dependency>
<groupId>org.mortbay.jetty</groupId>
<artifactId>jetty</artifactId>
<version>6.1.26</version>
</dependency>
<dependency>
<groupId>org.mortbay.jetty</groupId>
<artifactId>jetty-util</artifactId>
<version>6.1.26</version>
</dependency>
<dependency>
<groupId>tomcat</groupId>
<artifactId>jasper-runtime</artifactId>
<version>5.5.12</version>
</dependency>
<dependency>
<groupId>tomcat</groupId>
<artifactId>jasper-compiler</artifactId>
<version>5.5.12</version>
</dependency>
<dependency>
<groupId>org.mortbay.jetty</groupId>
<artifactId>jsp-api-2.1</artifactId>
<version>6.1.14</version>
</dependency>
<dependency>
<groupId>org.mortbay.jetty</groupId>
<artifactId>jsp-2.1</artifactId>
<version>6.1.14</version>
</dependency>
<dependency>
<groupId>commons-el</groupId>
<artifactId>commons-el</artifactId>
<version>1.0</version>
</dependency>
<dependency>
<groupId>net.java.dev.jets3t</groupId>
<artifactId>jets3t</artifactId>
<version>0.6.1</version>
</dependency>
<dependency>
<groupId>hsqldb</groupId>
<artifactId>hsqldb</artifactId>
<version>1.8.0.10</version>
</dependency>
<dependency>
<groupId>oro</groupId>
<artifactId>oro</artifactId>
<version>2.0.8</version>
</dependency>
<dependency>
<groupId>org.eclipse.jdt</groupId>
<artifactId>core</artifactId>
<version>3.1.1</version>
</dependency>
<dependency>
<groupId>org.codehaus.jackson</groupId>
<artifactId>jackson-mapper-asl</artifactId>
<version>1.8.8</version>
</dependency>
<dependency>
<groupId>log4j</groupId>
<artifactId>log4j</artifactId>
<version>1.2.17</version>
<scope>provided</scope>
</dependency>
<dependency>
<groupId>commons-net</groupId>
<artifactId>commons-net</artifactId>
<version>3.3</version>
<scope>provided</scope>
</dependency>
<dependency>
<groupId>org.slf4j</groupId>
<artifactId>slf4j-api</artifactId>
<version>1.7.5</version>
<scope>provided</scope>
</dependency>
<dependency>
<groupId>org.apache.commons</groupId>
<artifactId>commons-daemon</artifactId>
<version>1.0.9</version>
<scope>provided</scope>
</dependency>
<dependency>
<groupId>org.apache.mahout.kosmofs</groupId>
<artifactId>kfs</artifactId>
<version>0.3</version>
<scope>provided</scope>
</dependency>
</dependencies>
<build>
<plugins>
<plugin>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-compiler-plugin</artifactId>
<version>2.3.2</version>
<configuration>
<source>1.7</source>
<target>1.7</target>
</configuration>
</plugin>
<plugin>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-javadoc-plugin</artifactId>
<executions>
<execution>
<id>attach-javadocs</id>
<goals>
<goal>jar</goal>
</goals>
</execution>
</executions>
</plugin>
<plugin>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-source-plugin</artifactId>
<executions>
<execution>
<id>attach-sources</id>
<goals>
<goal>jar</goal>
</goals>
</execution>
</executions>
</plugin>
</plugins>
</build>
</project>
分享到:
相关推荐
【标题】:“Eclipse Hadoop 例子源代码” 在大数据处理领域,Hadoop是一个不可或缺的开源框架,它提供了分布式存储和计算的能力。Eclipse作为Java开发的主流集成开发环境(IDE),也是编写和调试Hadoop程序的重要...
Hadoop源代码eclipse编译教程汇编 Hadoop是一个基于分布式计算的开源框架,主要用于处理大规模数据。为了更好地理解Hadoop的工作机制和实现原理,深入了解Hadoop的源代码是非常必要的。本文将详细介绍如何使用...
Hadoop源代码eclipse编译指南.zip、Hadoop源代码eclipse编译指南.zipHadoop源代码eclipse编译指南.zipHadoop源代码eclipse编译指南.zipHadoop源代码eclipse编译指南.zip
这个压缩包可能包含了配置、源代码、库文件以及必要的设置,使得开发人员能够在Eclipse集成开发环境中有效地编写、测试和调试Hadoop相关应用。 【描述】中反复提到的"eclipse-hadoop3x-master",暗示这可能是一个...
2. **编辑器支持**:提供对Java源代码的智能感知和代码补全,使得MapReduce程序的编写更加高效。此外,还有XML编辑器支持Hadoop配置文件的编辑。 3. **编译与构建**:插件能够自动编译MapReduce程序,并将其打包成...
1. **安装Hadoop**:在本地电脑上安装Hadoop需要下载Hadoop的源代码或二进制发行版,然后按照官方文档的指导进行配置。这通常包括设置环境变量(如HADOOP_HOME)、配置Hadoop的配置文件(如core-site.xml、hdfs-site...
本教程主要围绕"Hadoop基础"和"Hadoop源代码eclipse编译教程"展开,旨在帮助初学者深入理解Hadoop并掌握其实际操作技能。 首先,我们要了解Hadoop的基本概念。Hadoop是由Apache基金会开发的一个开源项目,基于Java...
6. **集成Spark with Eclipse**:导入Spark源代码到Eclipse,或者创建新的Scala或Java项目,添加Spark库依赖。 7. **配置Hive**:安装Hive及其依赖项,如Hcatalog和HBase(如果需要)。配置HIVE_HOME环境变量,以及...
在Eclipse中创建一个新的Java项目,导入Hadoop的源代码或者添加Hadoop的jar文件作为项目的依赖。现在你可以开始编写MapReduce程序了。Hadoop的编程模型主要包括Mapper和Reducer类,它们分别处理输入数据并生成中间...
标题“hadoop2x-eclipse-plugin-original”表明这是一个与Hadoop 2.x版本相关的Eclipse插件的原始源代码包。这里的“2x”通常代表Hadoop的2.0到2.9版本,这是一系列重要的Hadoop版本,引入了许多功能改进和性能优化...
3. **设置源代码关联**:为了能够在Eclipse中查看和调试Hadoop源代码,需要将Hadoop源码导入到Eclipse项目中,并在"Source Lookup"选项卡下关联源码路径。 4. **启动调试**:最后,启动调试会话,当Hadoop守护进程在...
这可能涉及到阅读Hadoop-eclipse-plugin的源代码,了解它如何与Eclipse IDE集成,以及如何与Hadoop集群通信。 9. 实战应用:通过上述配置,开发者可以进行实际的Hadoop项目开发,比如数据清洗、分析、挖掘等。同时...
8. 添加/编写源代码 知识点: * 如何在Ubuntu操作系统下安装Eclipse * 如何在Eclipse中安装Hadoop插件 * 如何配置Hadoop环境 * 如何使用Eclipse开发Hadoop应用程序 * 如何使用Map/Reduce视图 * 如何添加Hadoop ...
- 创建新的Java项目,导入Hadoop的源代码或库。 - 编写MapReduce程序,利用Eclipse的强大调试功能测试和优化代码。 7. **运行Hadoop程序**: - 使用Eclipse的构建功能将MapReduce程序打包成JAR文件。 - 使用...
Hadoop的词频统计源代码WordCount
1. **选择要打包的项目**:在Eclipse的工作区中,找到包含Hadoop程序的Java项目,确保所有相关的源代码和依赖库都已包含在内。 2. **导出JAR文件**:右键单击项目或源代码文件夹,选择“Export”,然后在弹出的...
压缩包内的"eclipse-hadoop开发插件2.8版本"可能包含了一系列配置文件、源代码、JAR库和其他必要组件,这些都旨在帮助开发者在Eclipse中创建、调试和运行Hadoop MapReduce和Spark等大数据处理应用。使用这个插件,...