`

Hadoop源码导入eclipse及怎么通过pietty连接linux

 
阅读更多

 

     hadoop2.6的源码,都是一个模块,一个project,我怎么吧这些源码导入eclipse中了?

     1. 选择你要导入了模块。common , hdfs , mapreaduce 

     2. maven 编译,不要编译整个源码,那样太耗时了

        cmd下操作:

        首先进入hadoop-maven-plugins文件夹 , mvn install 

        然后进入hadoop-common-project

         mvn install -DskipTests

         mvn eclipse:eclipse

       有点慢.....

       这样就把common project下的几个模块编译成了几个java工程,可以直接导入eclipse

 

    3. 在进入hdfs-project  , mapreduce 文件夹,编译:

         mvn eclipse:eclipse 这就很快了!

 

    4. 如果你只要看HDFS文件系统,你就可以只编译common包,然后导入hdfs里面的jar包,那么接下来就可以

        调用hdfs提供的api写junit进行调试了。

        要把common下的所有项目导入,要不然就会出现一个大的红色感叹号!

 

    5. 我当时把整个项目都编译了一边,(注意一点,源文件夹地址不要有中文),然后直接把所有的项目都导入到了

        可是哎,myEclipse启动到能用,没有十分钟不行啊.....!!叫喊

        还是要看那部分再导入把......

        

    6. 还是多装几个eclipse把,要学那一块,就用哪个eclipse , 要不然,还没学,兴致就坏在这个慢慢的eclipse上面了。

 

 

       怎样在windows上访问ubuntu?

        也就是说,我们只是在linux中部署好了应用,但是可以通过windows

       访问得到?这就有点像服务器和客户机的概念了,linux就是一个服务器!

       在hadoop应用中,我在linux中已经部署好了hadoop,但是我想通过浏览器访问hadoop的节点信息的时候

       我又不喜欢在ubutu上面去访问,其二,当我开发hdfs , mapreaduce 程序的时候,我想在linux上写,因为我所以

       IDE都是在window上的,又要在linux上装一遍,麻烦!

       所以,有没有一种方法,可以使所有的操作都在window上操作,而只是在linux中部署hadoop程序了?

       

       1.  使ubutu的网络连接方式为仅主机模式

           点击网络适配器,修改为仅主机模式
           

        ubuntu网络连接的三种方式:

       1. 桥接方式

       2. NAT 

       3. 仅主机模式 

           

        2. 打开你的网络共享中心(联网的那个图标) , 然后更改适配器设置,只要按照了vmware就会有下面这两个:

          
          
  

           接下来, 右击vmnet1 ---> 属性---->双击ipv4-->填入如下属性:

          因为接下来,我们就要设置ubutu的ip地址为192.168.80.1 到 192.168.80.255网段内某个!
           

        

          3. 修改ubutu的ip地址 :

           右击这个表示联网的图标,选择edit connection

           
           

             然后,add : 选择iPv4 setttings , method 选 manual ,

             ip地址为上面80网段中的任一个..其余两个相同。

            
           

   

          那么 接下来,就可以测试看是否能够连接上了 : 

          可以在window的cmd中输入 ping 192.168.80.100(ubuntu的ip) 

           这样,就可以访问了。你也可在linux中,ping 192.168.80.1测试。
          

         那么接下来,你就可以在linux中,start-dfs.sh , 在window中的浏览器中输入192.168.80.100:50070进行访问了。

        同样,通过pietty 输入 192.168.80.100 就可以在windows中,使用命令行操作ubuntu了,只是有点慢。

 

     接下来就可以在window上,通过eclispe访问Ubuntu中的HDFS了?

     可是这里有个揪心的地方,在eclipse中调用HDFS的api进行访问,设置的PATH= "hdfs://master:9000/" 可是

     就是连接拒绝,但是浏览器却可以通过! 问题就在于不要把Ubuntu中的core-site.xml 中defaultFS的url写成localhost

     要改成对应的ip或主机名!!! 但是现在又报一个异常,权限不足:

org.apache.hadoop.security.AccessControlException:Permission denied:user=Administrator,access=WRITE,inode="tmp":root:supergroup:rwxr-xr-x 。

    这错误就得修改你电脑现在的用户名Adminstrator (开始菜单中有显示), 为ubutu中的普通用户名

    现在你就可以通过eclipse在window中调用hdfs的api进行操作了!

   

    只是我的报这种异常 :

Could not locate executable null\bin\winutils.exe in the Hadoop binaries

    不过没关系,对hdfs的操作还是可以完成.

 

    下一步就是,eclipse 的hadoop插件的安装!   

     参考 : Eclipse开发环境配置

     自己下载对应版本的插件!!!!

  

       
 
 
            

           

  • 大小: 12.6 KB
  • 大小: 18 KB
  • 大小: 23.1 KB
  • 大小: 9.5 KB
  • 大小: 31.3 KB
  • 大小: 38.4 KB
分享到:
评论

相关推荐

    hadoop2.6.0源码和eclipse插件

    插件提供了Hadoop项目的模板,可以快速导入Hadoop类库,并且能够直接连接到本地或远程的Hadoop集群,查看作业状态和日志。 使用这个插件的步骤通常包括: 1. 将`hadoop-eclipse-plugin-2.6.0.jar`添加到Eclipse的...

    Hadoop2.7.3源码Eclipse工程

    【标题】"Hadoop2.7.3源码Eclipse工程"揭示了这个压缩包包含的是Hadoop 2.7.3版本的源代码,并且是为Eclipse IDE准备的项目工程,便于开发者在Eclipse环境中进行源码级别的学习、调试和开发。 【描述】中的信息说明...

    Hadoop源码编译好的源码(eclipse可直接导入)

    对于Eclipse用户,导入这个编译好的源码项目,可以便于进行代码阅读和调试,这对于理解Hadoop的工作原理、定制化开发或者排查问题非常有帮助。你可以通过Eclipse的"import->Existing Maven Projects"功能导入hadop-...

    Hadoop2.7.1源码(可直接导入Eclipse)

    Hadoop2.7.1源码(可直接导入Eclipse)

    如何把hadoop源码关联到eclipse工程中

    下面我们将详细讲解如何一步步地将Hadoop源码导入到Eclipse Java工程中。 首先,我们需要获取Hadoop的源码。这里以Hadoop 1.1.2为例,下载的是hadoop-1.1.2.tar.gz压缩文件。使用WinRAR或其他解压缩工具将其解压,...

    hadoop-eclipse-plugin1.2.1 and hadoop-eclipse-plugin2.8.0

    它允许开发者在Eclipse中直接浏览HDFS文件系统,创建新的Hadoop项目,并通过“Run As”菜单启动MapReduce作业。尽管这个版本的功能已经足够满足基本的开发需求,但随着Hadoop的发展,它的功能和兼容性逐渐显得不足。...

    Linux环境下Hadoop搭建与Eclipse配置

    在Linux环境下搭建Hadoop并配置Eclipse开发环境是大数据处理工作中的重要步骤。Hadoop是一个开源的分布式计算框架,主要用于处理和存储大规模数据。而Eclipse是一款强大的集成开发环境(IDE),通过特定的插件可以...

    Hadoop源码eclipse编译.pdf

    ### Hadoop源码在Eclipse中的编译指南 #### 一、引言 随着大数据技术的发展,Hadoop作为处理大规模数据集的一种分布式计算框架,其重要性不言而喻。对于开发者而言,深入理解Hadoop的工作原理及其实现机制是非常有...

    hadoop-eclipse插件各版本合集

    Hadoop-Eclipse插件是Apache Hadoop项目与Eclipse IDE集成的一个重要工具,它使得Hadoop开发者能够在Eclipse环境中直接创建、编辑、调试和管理Hadoop MapReduce作业,极大地提升了开发效率。本合集包含了多个版本的...

    Hadoop源码分析(完整版)

    Hadoop源码分析是深入理解Hadoop分布式计算平台原理的起点,通过源码分析,可以更好地掌握Hadoop的工作机制、关键组件的实现方式和内部通信流程。Hadoop项目包括了多个子项目,其中最核心的是HDFS和MapReduce,这两...

    eclipse安装Hadoop插件

    4. **测试连接**:当以上步骤都已完成并且集群运行正常时,应该能够通过Eclipse连接到Hadoop集群并加载其中的文件。 #### 六、释放Hadoop-Common库 1. **解压位置**:将`Hadoop-common.zip`解压至指定位置,例如`E...

    Hadoop plugin for eclipse

    1. **安装插件**: 将`Hadoop-ecplise-plugin-2.7.1.jar`文件添加到Eclipse的plugins目录下,或者通过Eclipse的“Install New Software”功能,将插件导入到Eclipse环境中。 2. **配置Hadoop环境**: 在Eclipse中,...

    hadoop-eclipse-plugin-2.10.0.jar

    Eclipse集成Hadoop2.10.0的插件,使用`ant`对hadoop的jar包进行打包并适应Eclipse加载,所以参数里有hadoop和eclipse的目录. 必须注意对于不同的hadoop版本,` HADDOP_INSTALL_PATH/share/hadoop/common/lib`下的jar包...

    hadoop-1.0.0 eclipse插件

    hadoop 1.0版本中已经不再提供eclipse插件jar包,此hadoop-eclipse-plugin-1.0.0.jar包在eclipse 3.7上编译hadoop源码产生并在eclipse3.7版本上成功运行。

    hadoop2.8.3-eclipse-plugin和hadoop.dll及winutils.exe

    【标题】"hadoop2.8.3-eclipse-plugin和hadoop.dll及winutils.exe" 涉及的IT知识点主要包括Hadoop生态系统、Eclipse插件开发以及Windows环境下的Hadoop配置。 【Hadoop生态系统】 Hadoop是Apache基金会开源的一个...

    hadoop-eclipse-plugin-3.1.1.tar.gz

    Hadoop-Eclipse-Plugin-3.1.1是一款专为Eclipse集成开发环境设计的...通过Hadoop-Eclipse-Plugin,开发者可以无缝地在Eclipse中进行Hadoop应用开发,从而更加高效地利用Hadoop的分布式计算能力,处理大规模的数据挑战。

    hadoop2.2.0的eclipse插件

    自己编译的hadoop-eclipse-plugin-2.2.0.jar插件:hadoop版本hadoop-2.2.0、eclipse版本:Eclipse Standard 4.3.1

    Hadoop开发环境的插件hadoop-eclipse-plugin-2.10.1

    Hadoop Eclipse是Hadoop开发环境的插件,用户在创建Hadoop程序时,Eclipse插件会自动导入Hadoop编程接口的jar文件,这样用户就可以在Eclipse插件的图形界面中进行编码、调试和运行Hadop程序,也能通过Eclipse插件...

    eclipse配置hadoop

    Eclipse 配置 Hadoop 及 MapReduce 开发指南 一、Eclipse 中配置 Hadoop 插件 配置 Hadoop 插件是使用 Eclipse 进行 MapReduce 开发的第一步。首先,需要安装 Eclipse 3.3.2 和 Hadoop 0.20.2-eclipse-plugin.jar ...

    hadoop-eclipse2.7.1、hadoop-eclipse2.7.2、hadoop-eclipse2.7.3

    总之,Hadoop-Eclipse插件是Hadoop开发者的重要工具,通过它,开发者可以在熟悉的Eclipse环境中高效地开发、测试和部署Hadoop MapReduce应用程序,实现大数据处理任务的快速迭代和优化。不同版本的插件体现了Hadoop-...

Global site tag (gtag.js) - Google Analytics