`
piaoshen1
  • 浏览: 5153 次
最近访客 更多访客>>
文章分类
社区版块
存档分类
最新评论

Eclipse 添加 Hadoop 源代码包

阅读更多
Maven 仓库中没有 Hadoop 的源代码包,网络上也找不到可以直接用的,于是在官网下载整个Hadoop-1.2.1 包,提取出相应的源代码,打包后丢给 Eclipse ,仍然无法显示(奇怪,)。

解决步骤:

1,Eclipse 新建 Maven 项目,groupId 随意(建议不要为 org.apache.hadoop),artifactId 为 hadoop-core, 版本 1.2.1, package 为 jar
2,把Hadoop 源码放入 src/main/java 中
3,编辑pom.xml,引入依赖(详见下文)
4,编辑pom.xml,添加相应插件(javaDoc 和 source)
5,mvn install
6,更新相关项目对Hadoop 的引用
7,发布时记得改回来:)

抛砖引玉,如果有更好的解决麻烦告知,先谢过。

pom.xml
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
	xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
	<modelVersion>4.0.0</modelVersion>
	<groupId>com.yourcomany</groupId>
	<artifactId>hadoop-core</artifactId>
	<version>1.2.1</version>

	<dependencies>
		<dependency>
			<groupId>commons-cli</groupId>
			<artifactId>commons-cli</artifactId>
			<version>1.2</version>
		</dependency>
		<dependency>
			<groupId>xmlenc</groupId>
			<artifactId>xmlenc</artifactId>
			<version>0.52</version>
		</dependency>
		<dependency>
			<groupId>com.sun.jersey</groupId>
			<artifactId>jersey-core</artifactId>
			<version>1.8</version>
		</dependency>
		<dependency>
			<groupId>com.sun.jersey</groupId>
			<artifactId>jersey-json</artifactId>
			<version>1.8</version>
		</dependency>
		<dependency>
			<groupId>com.sun.jersey</groupId>
			<artifactId>jersey-server</artifactId>
			<version>1.8</version>
		</dependency>
		<dependency>
			<groupId>commons-io</groupId>
			<artifactId>commons-io</artifactId>
			<version>2.1</version>
		</dependency>
		<dependency>
			<groupId>commons-httpclient</groupId>
			<artifactId>commons-httpclient</artifactId>
			<version>3.0.1</version>
		</dependency>
		<dependency>
			<groupId>commons-codec</groupId>
			<artifactId>commons-codec</artifactId>
			<version>1.4</version>
		</dependency>
		<dependency>
			<groupId>org.apache.commons</groupId>
			<artifactId>commons-math</artifactId>
			<version>2.1</version>
		</dependency>
		<dependency>
			<groupId>commons-configuration</groupId>
			<artifactId>commons-configuration</artifactId>
			<version>1.6</version>
		</dependency>
		<dependency>
			<groupId>commons-net</groupId>
			<artifactId>commons-net</artifactId>
			<version>1.4.1</version>
		</dependency>
		<dependency>
			<groupId>org.mortbay.jetty</groupId>
			<artifactId>jetty</artifactId>
			<version>6.1.26</version>
		</dependency>
		<dependency>
			<groupId>org.mortbay.jetty</groupId>
			<artifactId>jetty-util</artifactId>
			<version>6.1.26</version>
		</dependency>
		<dependency>
			<groupId>tomcat</groupId>
			<artifactId>jasper-runtime</artifactId>
			<version>5.5.12</version>
		</dependency>
		<dependency>
			<groupId>tomcat</groupId>
			<artifactId>jasper-compiler</artifactId>
			<version>5.5.12</version>
		</dependency>
		<dependency>
			<groupId>org.mortbay.jetty</groupId>
			<artifactId>jsp-api-2.1</artifactId>
			<version>6.1.14</version>
		</dependency>
		<dependency>
			<groupId>org.mortbay.jetty</groupId>
			<artifactId>jsp-2.1</artifactId>
			<version>6.1.14</version>
		</dependency>
		<dependency>
			<groupId>commons-el</groupId>
			<artifactId>commons-el</artifactId>
			<version>1.0</version>
		</dependency>
		<dependency>
			<groupId>net.java.dev.jets3t</groupId>
			<artifactId>jets3t</artifactId>
			<version>0.6.1</version>
		</dependency>
		<dependency>
			<groupId>hsqldb</groupId>
			<artifactId>hsqldb</artifactId>
			<version>1.8.0.10</version>
		</dependency>
		<dependency>
			<groupId>oro</groupId>
			<artifactId>oro</artifactId>
			<version>2.0.8</version>
		</dependency>
		<dependency>
			<groupId>org.eclipse.jdt</groupId>
			<artifactId>core</artifactId>
			<version>3.1.1</version>
		</dependency>
		<dependency>
			<groupId>org.codehaus.jackson</groupId>
			<artifactId>jackson-mapper-asl</artifactId>
			<version>1.8.8</version>
		</dependency>
		<dependency>
			<groupId>log4j</groupId>
			<artifactId>log4j</artifactId>
			<version>1.2.17</version>
			<scope>provided</scope>
		</dependency>
		<dependency>
			<groupId>commons-net</groupId>
			<artifactId>commons-net</artifactId>
			<version>3.3</version>
			<scope>provided</scope>
		</dependency>
		<dependency>
			<groupId>org.slf4j</groupId>
			<artifactId>slf4j-api</artifactId>
			<version>1.7.5</version>
			<scope>provided</scope>
		</dependency>
		<dependency>
			<groupId>org.apache.commons</groupId>
			<artifactId>commons-daemon</artifactId>
			<version>1.0.9</version>
			<scope>provided</scope>
		</dependency>
		<dependency>
			<groupId>org.apache.mahout.kosmofs</groupId>
			<artifactId>kfs</artifactId>
			<version>0.3</version>
			<scope>provided</scope>
		</dependency>
	</dependencies>

	<build>
		<plugins>
			<plugin>
				<groupId>org.apache.maven.plugins</groupId>
				<artifactId>maven-compiler-plugin</artifactId>
				<version>2.3.2</version>
				<configuration>
					<source>1.7</source>
					<target>1.7</target>
				</configuration>
			</plugin>

			<plugin>
				<groupId>org.apache.maven.plugins</groupId>
				<artifactId>maven-javadoc-plugin</artifactId>
				<executions>
					<execution>
						<id>attach-javadocs</id>
						<goals>
							<goal>jar</goal>
						</goals>
					</execution>
				</executions>
			</plugin>

			<plugin>
				<groupId>org.apache.maven.plugins</groupId>
				<artifactId>maven-source-plugin</artifactId>
				<executions>
					<execution>
						<id>attach-sources</id>
						<goals>
							<goal>jar</goal>
						</goals>
					</execution>
				</executions>
			</plugin>
		</plugins>
	</build>
</project>
分享到:
评论

相关推荐

    eclipse hadoop 例子源代码

    【标题】:“Eclipse Hadoop 例子源代码” 在大数据处理领域,Hadoop是一个不可或缺的开源框架,它提供了分布式存储和计算的能力。Eclipse作为Java开发的主流集成开发环境(IDE),也是编写和调试Hadoop程序的重要...

    Hadoop源代码eclipse编译教程[汇编].pdf

    Hadoop源代码eclipse编译教程汇编 Hadoop是一个基于分布式计算的开源框架,主要用于处理大规模数据。为了更好地理解Hadoop的工作机制和实现原理,深入了解Hadoop的源代码是非常必要的。本文将详细介绍如何使用...

    Hadoop源代码eclipse编译指南.zip

    Hadoop源代码eclipse编译指南.zip、Hadoop源代码eclipse编译指南.zipHadoop源代码eclipse编译指南.zipHadoop源代码eclipse编译指南.zipHadoop源代码eclipse编译指南.zip

    eclipse-hadoop3x-master.zip

    这个压缩包可能包含了配置、源代码、库文件以及必要的设置,使得开发人员能够在Eclipse集成开发环境中有效地编写、测试和调试Hadoop相关应用。 【描述】中反复提到的"eclipse-hadoop3x-master",暗示这可能是一个...

    eclipse的hadoop插件

    2. **编辑器支持**:提供对Java源代码的智能感知和代码补全,使得MapReduce程序的编写更加高效。此外,还有XML编辑器支持Hadoop配置文件的编辑。 3. **编译与构建**:插件能够自动编译MapReduce程序,并将其打包成...

    Eclipse开发Hadoop相关项目本地配置插件

    1. **安装Hadoop**:在本地电脑上安装Hadoop需要下载Hadoop的源代码或二进制发行版,然后按照官方文档的指导进行配置。这通常包括设置环境变量(如HADOOP_HOME)、配置Hadoop的配置文件(如core-site.xml、hdfs-site...

    hadoop资料,hadoop基础,Hadoop源代码eclipse编译教程

    本教程主要围绕"Hadoop基础"和"Hadoop源代码eclipse编译教程"展开,旨在帮助初学者深入理解Hadoop并掌握其实际操作技能。 首先,我们要了解Hadoop的基本概念。Hadoop是由Apache基金会开发的一个开源项目,基于Java...

    eclipse集成hadoop+spark+hive开发源码实例

    6. **集成Spark with Eclipse**:导入Spark源代码到Eclipse,或者创建新的Scala或Java项目,添加Spark库依赖。 7. **配置Hive**:安装Hive及其依赖项,如Hcatalog和HBase(如果需要)。配置HIVE_HOME环境变量,以及...

    Cygwin+Eclipse搭建Hadoop单机开发环境-1

    在Eclipse中创建一个新的Java项目,导入Hadoop的源代码或者添加Hadoop的jar文件作为项目的依赖。现在你可以开始编写MapReduce程序了。Hadoop的编程模型主要包括Mapper和Reducer类,它们分别处理输入数据并生成中间...

    hadoop2x-eclipse-plugin-original

    标题“hadoop2x-eclipse-plugin-original”表明这是一个与Hadoop 2.x版本相关的Eclipse插件的原始源代码包。这里的“2x”通常代表Hadoop的2.0到2.9版本,这是一系列重要的Hadoop版本,引入了许多功能改进和性能优化...

    eclipse调试hadoop2.x必备

    3. **设置源代码关联**:为了能够在Eclipse中查看和调试Hadoop源代码,需要将Hadoop源码导入到Eclipse项目中,并在"Source Lookup"选项卡下关联源码路径。 4. **启动调试**:最后,启动调试会话,当Hadoop守护进程在...

    在eclipse中配置hadoop插件

    这可能涉及到阅读Hadoop-eclipse-plugin的源代码,了解它如何与Eclipse IDE集成,以及如何与Hadoop集群通信。 9. 实战应用:通过上述配置,开发者可以进行实际的Hadoop项目开发,比如数据清洗、分析、挖掘等。同时...

    Ubuntu下开发Eclipse下的Hadoop应用

    8. 添加/编写源代码 知识点: * 如何在Ubuntu操作系统下安装Eclipse * 如何在Eclipse中安装Hadoop插件 * 如何配置Hadoop环境 * 如何使用Eclipse开发Hadoop应用程序 * 如何使用Map/Reduce视图 * 如何添加Hadoop ...

    Cygwin+Eclipse搭建Hadoop单机开发环境-3

    - 创建新的Java项目,导入Hadoop的源代码或库。 - 编写MapReduce程序,利用Eclipse的强大调试功能测试和优化代码。 7. **运行Hadoop程序**: - 使用Eclipse的构建功能将MapReduce程序打包成JAR文件。 - 使用...

    Hadoop的词频统计源代码WordCount

    Hadoop的词频统计源代码WordCount

    用eclipse将Hadoop程序打包成jar及直接设定参数运行

    1. **选择要打包的项目**:在Eclipse的工作区中,找到包含Hadoop程序的Java项目,确保所有相关的源代码和依赖库都已包含在内。 2. **导出JAR文件**:右键单击项目或源代码文件夹,选择“Export”,然后在弹出的...

    eclipse-hadoop2.8以上带hadoop.dll,winutil.exe2.8版本,绝对可用

    压缩包内的"eclipse-hadoop开发插件2.8版本"可能包含了一系列配置文件、源代码、JAR库和其他必要组件,这些都旨在帮助开发者在Eclipse中创建、调试和运行Hadoop MapReduce和Spark等大数据处理应用。使用这个插件,...

Global site tag (gtag.js) - Google Analytics