将Hadoop源码导入Eclipse有个最大好处就是通过 "ctrl + shift + r" 可以快速打开Hadoop源码文件。
第一步:在Eclipse新建一个Java项目
第二步:将Hadoop程序src下core, hdfs, mapred, tools几个目录copy到上述新建项目的src目录
第三步:修改将Java Build Path,删除src,添加src/core, src/hdfs....几个源码目录
第四步:为Java Build Path添加项目依赖jar,可以导入Hadoop程序的lib下所有jar包(别漏掉其子目录jar包),导入ant程序lib下所有jar包。
第五步:理论上第四步就OK了,但是会报大量如下错误:
Access restriction: The method arrayBaseOffset(Class) from the type Unsafe is not accessible due to restriction on required library C:\Program Files\JDK\jre\lib\rt.jar xxx.java xxxx line 141 Java Problem
解决办法是:右键项目“propertiyes” > "Java Build Path" > "Libraries",展开"JRE System Library",双击"Access rules",点击"Add"按钮,在"Resolution"下拉框选择"Accessible","Rule Pattern"填写"**/*",保存后就OK了。
--heipark
- 大小: 226.2 KB
分享到:
相关推荐
1. **安装Hadoop**:在本地电脑上安装Hadoop需要下载Hadoop的源代码或二进制发行版,然后按照官方文档的指导进行配置。这通常包括设置环境变量(如HADOOP_HOME)、配置Hadoop的配置文件(如core-site.xml、hdfs-site...
对于Eclipse用户,导入这个编译好的源码项目,可以便于进行代码阅读和调试,这对于理解Hadoop的工作原理、定制化开发或者排查问题非常有帮助。你可以通过Eclipse的"import->Existing Maven Projects"功能导入hadop-...
Hadoop2.7.1源码(可直接导入Eclipse)
- 使用Eclipse创建Java项目,导入Hadoop的相关库,如`hadoop-core.jar`和`hadoop-client.jar`。 - 编写MapReduce程序,实现Mapper和Reducer类,以及Job配置。 - 调试代码,利用Eclipse的调试工具查看执行流程,...
用户可以导入此项目到Eclipse中,然后利用其中的配置和源代码开始编写、测试和部署Hadoop应用程序。它涵盖了大数据处理的基本框架,结合了Eclipse的强大开发工具,旨在提升开发效率并简化分布式计算的复杂性。对于想...
6. **集成Spark with Eclipse**:导入Spark源代码到Eclipse,或者创建新的Scala或Java项目,添加Spark库依赖。 7. **配置Hive**:安装Hive及其依赖项,如Hcatalog和HBase(如果需要)。配置HIVE_HOME环境变量,以及...
本文将详细讲解如何在CentOS 6.5操作系统上配置Hadoop-eclipse插件,以便在Eclipse环境中进行Hadoop项目的开发和调试。 首先,我们需要在Eclipse中安装Hadoop-eclipse插件。这个插件使得开发者可以直接在Eclipse中...
插件提供了Hadoop项目的模板,可以快速导入Hadoop类库,并且能够直接连接到本地或远程的Hadoop集群,查看作业状态和日志。 使用这个插件的步骤通常包括: 1. 将`hadoop-eclipse-plugin-2.6.0.jar`添加到Eclipse的...
【标题】"Hadoop2.7.3源码Eclipse工程"揭示了这个压缩包包含的是Hadoop 2.7.3版本的源代码,并且是为Eclipse IDE准备的项目工程,便于开发者在Eclipse环境中进行源码级别的学习、调试和开发。 【描述】中的信息说明...
3. **设置源代码关联**:为了能够在Eclipse中查看和调试Hadoop源代码,需要将Hadoop源码导入到Eclipse项目中,并在"Source Lookup"选项卡下关联源码路径。 4. **启动调试**:最后,启动调试会话,当Hadoop守护进程在...
现在,让我们创建一个Maven项目来导入Hadoop源码。在Eclipse中,选择“文件”>“新建”>“其他”>“Maven”>“Maven项目”。在新窗口中,选择“创建一个简单的项目”,然后点击“下一步”。在“Group ID”中输入...
在Eclipse中创建一个新的Java项目,导入Hadoop的源代码或者添加Hadoop的jar文件作为项目的依赖。现在你可以开始编写MapReduce程序了。Hadoop的编程模型主要包括Mapper和Reducer类,它们分别处理输入数据并生成中间...
- 创建新的Java项目,导入Hadoop的源代码或库。 - 编写MapReduce程序,利用Eclipse的强大调试功能测试和优化代码。 7. **运行Hadoop程序**: - 使用Eclipse的构建功能将MapReduce程序打包成JAR文件。 - 使用...
3. 导入源码:在Eclipse中,选择“File” -> “Import” -> “Existing Projects into Workspace”,然后浏览到Hadoop源码目录,导入项目。 4. 配置项目:在项目属性中,设置构建路径,确保包含所有必要的库和依赖。...
2. **编辑器支持**:Eclipse会提供对Java源代码的智能提示、语法高亮、自动格式化等功能,使得编写MapReduce程序更为便捷。 3. **构建与部署**:Eclipse插件能够直接将你的Hadoop项目打包为JAR文件,并通过Hadoop...
总结一下,编译和运行Hadoop-0.20.1源码需要准备合适的开发环境,正确导入源代码到Eclipse项目,启动Hadoop集群,最后编译和运行源代码。通过这种方式,开发者可以深入理解Hadoop的工作流程,调试代码,以及进行定制...
下面我们将详细讲解如何一步步地将Hadoop源码导入到Eclipse Java工程中。 首先,我们需要获取Hadoop的源码。这里以Hadoop 1.1.2为例,下载的是hadoop-1.1.2.tar.gz压缩文件。使用WinRAR或其他解压缩工具将其解压,...
- 创建新的Hadoop Map/Reduce项目,导入Hadoop的jar包到项目的类路径中。 - 编写MapReduce程序,测试Hadoop环境。 至此,你已经成功地在Windows 7 32位系统上搭建了Cygwin+Eclipse的Hadoop单机开发环境。你可以...