hadoop2.6的源码,都是一个模块,一个project,我怎么吧这些源码导入eclipse中了?
1. 选择你要导入了模块。common , hdfs , mapreaduce
2. maven 编译,不要编译整个源码,那样太耗时了
cmd下操作:
首先进入hadoop-maven-plugins文件夹 , mvn install
然后进入hadoop-common-project
mvn install -DskipTests
mvn eclipse:eclipse
有点慢.....
这样就把common project下的几个模块编译成了几个java工程,可以直接导入eclipse
3. 在进入hdfs-project , mapreduce 文件夹,编译:
mvn eclipse:eclipse 这就很快了!
4. 如果你只要看HDFS文件系统,你就可以只编译common包,然后导入hdfs里面的jar包,那么接下来就可以
调用hdfs提供的api写junit进行调试了。
要把common下的所有项目导入,要不然就会出现一个大的红色感叹号!
5. 我当时把整个项目都编译了一边,(注意一点,源文件夹地址不要有中文),然后直接把所有的项目都导入到了
可是哎,myEclipse启动到能用,没有十分钟不行啊.....!!
还是要看那部分再导入把......
6. 还是多装几个eclipse把,要学那一块,就用哪个eclipse , 要不然,还没学,兴致就坏在这个慢慢的eclipse上面了。
怎样在windows上访问ubuntu?
也就是说,我们只是在linux中部署好了应用,但是可以通过windows
访问得到?这就有点像服务器和客户机的概念了,linux就是一个服务器!
在hadoop应用中,我在linux中已经部署好了hadoop,但是我想通过浏览器访问hadoop的节点信息的时候
我又不喜欢在ubutu上面去访问,其二,当我开发hdfs , mapreaduce 程序的时候,我想在linux上写,因为我所以
IDE都是在window上的,又要在linux上装一遍,麻烦!
所以,有没有一种方法,可以使所有的操作都在window上操作,而只是在linux中部署hadoop程序了?
1. 使ubutu的网络连接方式为仅主机模式
点击网络适配器,修改为仅主机模式
ubuntu网络连接的三种方式:
1. 桥接方式
2. NAT
3. 仅主机模式
2. 打开你的网络共享中心(联网的那个图标) , 然后更改适配器设置,只要按照了vmware就会有下面这两个:
接下来, 右击vmnet1 ---> 属性---->双击ipv4-->填入如下属性:
因为接下来,我们就要设置ubutu的ip地址为192.168.80.1 到 192.168.80.255网段内某个!
3. 修改ubutu的ip地址 :
右击这个表示联网的图标,选择edit connection
然后,add : 选择iPv4 setttings , method 选 manual ,
ip地址为上面80网段中的任一个..其余两个相同。
那么 接下来,就可以测试看是否能够连接上了 :
可以在window的cmd中输入 ping 192.168.80.100(ubuntu的ip)
这样,就可以访问了。你也可在linux中,ping 192.168.80.1测试。
那么接下来,你就可以在linux中,start-dfs.sh , 在window中的浏览器中输入192.168.80.100:50070进行访问了。
同样,通过pietty 输入 192.168.80.100 就可以在windows中,使用命令行操作ubuntu了,只是有点慢。
接下来就可以在window上,通过eclispe访问Ubuntu中的HDFS了?
可是这里有个揪心的地方,在eclipse中调用HDFS的api进行访问,设置的PATH= "hdfs://master:9000/" 可是
就是连接拒绝,但是浏览器却可以通过! 问题就在于不要把Ubuntu中的core-site.xml 中defaultFS的url写成localhost
要改成对应的ip或主机名!!! 但是现在又报一个异常,权限不足:
org.apache.hadoop.security.AccessControlException:Permission denied:user=Administrator,access=WRITE,inode="tmp":root:supergroup:rwxr-xr-x 。
这错误就得修改你电脑现在的用户名Adminstrator (开始菜单中有显示), 为ubutu中的普通用户名
现在你就可以通过eclipse在window中调用hdfs的api进行操作了!
只是我的报这种异常 :
Could not locate executable null\bin\winutils.exe in the Hadoop binaries
不过没关系,对hdfs的操作还是可以完成.
下一步就是,eclipse 的hadoop插件的安装!
自己下载对应版本的插件!!!!
相关推荐
插件提供了Hadoop项目的模板,可以快速导入Hadoop类库,并且能够直接连接到本地或远程的Hadoop集群,查看作业状态和日志。 使用这个插件的步骤通常包括: 1. 将`hadoop-eclipse-plugin-2.6.0.jar`添加到Eclipse的...
【标题】"Hadoop2.7.3源码Eclipse工程"揭示了这个压缩包包含的是Hadoop 2.7.3版本的源代码,并且是为Eclipse IDE准备的项目工程,便于开发者在Eclipse环境中进行源码级别的学习、调试和开发。 【描述】中的信息说明...
对于Eclipse用户,导入这个编译好的源码项目,可以便于进行代码阅读和调试,这对于理解Hadoop的工作原理、定制化开发或者排查问题非常有帮助。你可以通过Eclipse的"import->Existing Maven Projects"功能导入hadop-...
Hadoop2.7.1源码(可直接导入Eclipse)
下面我们将详细讲解如何一步步地将Hadoop源码导入到Eclipse Java工程中。 首先,我们需要获取Hadoop的源码。这里以Hadoop 1.1.2为例,下载的是hadoop-1.1.2.tar.gz压缩文件。使用WinRAR或其他解压缩工具将其解压,...
它允许开发者在Eclipse中直接浏览HDFS文件系统,创建新的Hadoop项目,并通过“Run As”菜单启动MapReduce作业。尽管这个版本的功能已经足够满足基本的开发需求,但随着Hadoop的发展,它的功能和兼容性逐渐显得不足。...
在Linux环境下搭建Hadoop并配置Eclipse开发环境是大数据处理工作中的重要步骤。Hadoop是一个开源的分布式计算框架,主要用于处理和存储大规模数据。而Eclipse是一款强大的集成开发环境(IDE),通过特定的插件可以...
### Hadoop源码在Eclipse中的编译指南 #### 一、引言 随着大数据技术的发展,Hadoop作为处理大规模数据集的一种分布式计算框架,其重要性不言而喻。对于开发者而言,深入理解Hadoop的工作原理及其实现机制是非常有...
Hadoop-Eclipse插件是Apache Hadoop项目与Eclipse IDE集成的一个重要工具,它使得Hadoop开发者能够在Eclipse环境中直接创建、编辑、调试和管理Hadoop MapReduce作业,极大地提升了开发效率。本合集包含了多个版本的...
Hadoop源码分析是深入理解Hadoop分布式计算平台原理的起点,通过源码分析,可以更好地掌握Hadoop的工作机制、关键组件的实现方式和内部通信流程。Hadoop项目包括了多个子项目,其中最核心的是HDFS和MapReduce,这两...
4. **测试连接**:当以上步骤都已完成并且集群运行正常时,应该能够通过Eclipse连接到Hadoop集群并加载其中的文件。 #### 六、释放Hadoop-Common库 1. **解压位置**:将`Hadoop-common.zip`解压至指定位置,例如`E...
1. **安装插件**: 将`Hadoop-ecplise-plugin-2.7.1.jar`文件添加到Eclipse的plugins目录下,或者通过Eclipse的“Install New Software”功能,将插件导入到Eclipse环境中。 2. **配置Hadoop环境**: 在Eclipse中,...
Eclipse集成Hadoop2.10.0的插件,使用`ant`对hadoop的jar包进行打包并适应Eclipse加载,所以参数里有hadoop和eclipse的目录. 必须注意对于不同的hadoop版本,` HADDOP_INSTALL_PATH/share/hadoop/common/lib`下的jar包...
hadoop 1.0版本中已经不再提供eclipse插件jar包,此hadoop-eclipse-plugin-1.0.0.jar包在eclipse 3.7上编译hadoop源码产生并在eclipse3.7版本上成功运行。
【标题】"hadoop2.8.3-eclipse-plugin和hadoop.dll及winutils.exe" 涉及的IT知识点主要包括Hadoop生态系统、Eclipse插件开发以及Windows环境下的Hadoop配置。 【Hadoop生态系统】 Hadoop是Apache基金会开源的一个...
Hadoop-Eclipse-Plugin-3.1.1是一款专为Eclipse集成开发环境设计的...通过Hadoop-Eclipse-Plugin,开发者可以无缝地在Eclipse中进行Hadoop应用开发,从而更加高效地利用Hadoop的分布式计算能力,处理大规模的数据挑战。
自己编译的hadoop-eclipse-plugin-2.2.0.jar插件:hadoop版本hadoop-2.2.0、eclipse版本:Eclipse Standard 4.3.1
Hadoop Eclipse是Hadoop开发环境的插件,用户在创建Hadoop程序时,Eclipse插件会自动导入Hadoop编程接口的jar文件,这样用户就可以在Eclipse插件的图形界面中进行编码、调试和运行Hadop程序,也能通过Eclipse插件...
Eclipse 配置 Hadoop 及 MapReduce 开发指南 一、Eclipse 中配置 Hadoop 插件 配置 Hadoop 插件是使用 Eclipse 进行 MapReduce 开发的第一步。首先,需要安装 Eclipse 3.3.2 和 Hadoop 0.20.2-eclipse-plugin.jar ...
总之,Hadoop-Eclipse插件是Hadoop开发者的重要工具,通过它,开发者可以在熟悉的Eclipse环境中高效地开发、测试和部署Hadoop MapReduce应用程序,实现大数据处理任务的快速迭代和优化。不同版本的插件体现了Hadoop-...