`
- 浏览:
11623 次
-
一、安装这个插件很简单,把 hadoop-eclipse-plugin-2.2.0 个文件copy到eclipse的eclipse\plugins
目录下,然后启动eclipse就算完成安装了。
、在左边的 project explorer 上头会有一个 DFS locations的标志
2、在 windows -> preferences里面会多一个hadoop map/reduce的选项,选中这个选项,然后右边,把下载的hadoop根目录选中
(windows上的hadoop只是为了调用里面的jar包)
如果能看到以上两点说明安装成功了。
二、在windows的"C:\Windows\System32\drivers\etc\hosts"路径下加入以下内容:
192.168.80.101 hadoop1
192.168.80.102 hadoop2
192.168.80.103 hadoop3
三、插件安装后,配置连接参数
插件装完了,启动hadoop,然后就可以建一个hadoop连接了,
第一步,打开Map/Reduce Locations 视图,在右上角有个大象的标志点击
第二步,在点击大象后弹出的对话框进行进行参数的添加:
location name: 这个随便填写,我填写的是:hadoop
Map/Reduce(V2) Master 这个框里
Host:就是jobtracker 所在的集群机器,这里写hadoop1(这里可以写主机名,因为前面已经加了主机映射。)
Hort:就是jobtracker 的port,这里写的是8032
这两个参数就是yarn-site.xml里面的 yarn.resourcemanager.address 里面mapred.job.tracker里面的ip和port
DFS Master 这个框里
Host:就是namenode所在的集群机器,这里写hadoop1
Port:就是namenode的port,这里写9000
这两个参数就是core-site.xml里面fs.defaultFS里面的ip和port
(Use M/R master host,这个复选框如果选上,就默认和Map/Reduce Master这个框里的host一样,如果不选择,就可以自己定义输入,这里jobtracker 和namenode在一个机器上,所以是一样的,就勾选上)
user name:这个是连接hadoop的用户名,因为我是用root用户安装的hadoop,而且没建立其他的用户,所以就用root。
下面的不用填写。然后点击finish按钮,此时,这个视图中就有多了一条记录。
第三步,重启eclipse并重新编辑刚才建立的那个连接记录,如图现在我们编辑advance parameters tab页
dfs.replication:这个这里默认是3,
dfs.data.dir 改为 /nosql/hadoop1/data
hadoop.tmp.dri 改为 /tmp/hadoop1-root
然后点击finish,DFS Locations下面会有一只大象,下面会有一个文件夹,即 hdfs的根目录,这里就是展示的分布式文件系统的目录结构了。
右击"hadoopàuseràroot"可以尝试建立一个"文件夹--test",然后右击刷新就能查看我们刚才建立的文件夹。
分享到:
Global site tag (gtag.js) - Google Analytics
相关推荐
为了能够在Eclipse IDE中开发和调试Map-Reduce程序,需要配置Eclipse与Hadoop集群之间的连接。 **1. 安装Hadoop插件** - Eclipse Marketplace中搜索并安装Hadoop插件。 - 配置插件以指向Hadoop安装目录。 **2. ...
第6讲:eclipse与Hadoop集群连接
### Eclipse链接Hadoop集群配置详解 #### 一、前言 在大数据处理领域,Hadoop因其卓越的分布式处理能力而备受青睐。为了更好地利用Hadoop的强大功能...希望本文能够帮助读者顺利完成Eclipse与Hadoop集群的连接配置。
windows下 eclipse操作hadoop集群 插件
- 安装Hadoop相关的Eclipse插件,如"Hadoop Eclipse Plugin"或"Big Data Tools",它们提供了与Hadoop集群交互的功能。 - 插件通常可以从Eclipse Marketplace中搜索并安装。 3. **创建Hadoop连接**: - 在Eclipse...
4. **测试连接**:当以上步骤都已完成并且集群运行正常时,应该能够通过Eclipse连接到Hadoop集群并加载其中的文件。 #### 六、释放Hadoop-Common库 1. **解压位置**:将`Hadoop-common.zip`解压至指定位置,例如`E...
标题 "IDE直接和Hadoop集群连接" 描述的是如何利用集成开发环境(IDE)与Hadoop分布式文件系统(HDFS)以及MapReduce框架进行交互,从而实现直接在IDE内进行开发和测试的功能。Hadoop是一个开源的大数据处理框架,由...
Hadoop_Hadoop集群(第7期)_Eclipse开发环境设置 Hadoop_Hadoop集群(第8期)_HDFS初探之旅 Hadoop_Hadoop集群(第9期)_MapReduce初级案例 Hadoop_Hadoop集群(第10期)_MySQL关系数据库 Web(Json-Lib类库使用...
Hadoop插件为Eclipse提供了与Hadoop集群交互的功能,包括创建Hadoop项目、编写MapReduce程序、配置运行环境、调试和部署等。它简化了开发过程,使得开发者能够在本地环境中模拟Hadoop集群的行为,提高开发效率。 2...
这个描述中提到的插件可以帮助开发者在Eclipse内直接与Hadoop集群进行交互,进行MapReduce任务的开发和调试。安装插件通常有两种方式:通过Eclipse的内置软件库Marketplace或者手动安装。由于未提供具体的插件名称,...
这个插件提供了与Hadoop集群交互的功能,例如创建、提交和监控MapReduce作业。它简化了开发过程,允许开发者在Eclipse环境中直接管理Hadoop项目,浏览HDFS文件系统,甚至直接在IDE内编写、测试和调试作业。 安装...
在Windows 10环境下使用Eclipse连接到CentOS上的Hadoop集群是一项常见的开发任务,尤其对于分布式计算和大数据处理的开发者来说。以下是一份详细步骤的指南,帮助你完成这一配置。 首先,确保你的Windows 10系统上...
1. **连接 Hadoop 集群**:配置 Hadoop 集群的相关信息,如 NameNode 地址、Hadoop 版本等,使 Eclipse 可以连接到运行中的 Hadoop 集群。 2. **资源浏览**:在 Eclipse 的 Package Explorer 或者 Project Explorer...
除此之外,还需要配置SSH免密登录,以便Hadoop集群节点之间无密码通信。 2. 配置Hadoop的配置文件:这是搭建Hadoop伪集群的关键步骤。主要包括以下配置文件的编辑: - `hadoop-env.sh`:指定Java的安装路径,例如...
《Hadoop集群服务器与本地连接:Eclipse集成与实践指南》 在大数据处理领域,Hadoop作为开源的分布式计算框架,扮演着至关重要的角色。Eclipse作为一种强大的Java开发环境,两者结合可为开发者提供便捷的Hadoop应用...
最后,通过Eclipse的“Window” -> “Preferences” -> “Hadoop Map/Reduce”设置Hadoop集群的相关信息,如JobTracker和NameNode的地址。 在实际开发中,使用这些工具可以提高开发效率,减少手动配置的工作量。...
5. **测试连接**:配置完成后,你可以通过Eclipse的“资源管理器视图”(Hadoop Explorer)来连接到Hadoop集群,检查是否能列出集群中的节点和文件系统。 6. **编写和运行MapReduce程序**:现在,你已经可以在...
5. **连接Hadoop集群**:在Eclipse中配置Hadoop连接,可以让你在本地IDE中调试运行在远程集群上的作业。通过"Big Data Tools",可以在"Window" -> "Preferences" -> "Big Data" -> "Hadoop Cluster"中添加和管理...
本文档将详细介绍如何配置Eclipse以便连接到Hadoop集群,使得开发过程更加便捷。 **1. Hadoop开发环境配置** 1.1 Hadoop集群简介 Hadoop是一个基于Java的开源分布式计算框架,主要用于处理和存储大规模数据。这里...
7. **配置Hadoop环境**:在Eclipse中,右键点击项目 -> "Properties" -> "Hadoop Configuration",在此处配置Hadoop的安装路径和相关参数,确保Eclipse能正确连接到Hadoop集群。 8. **开发与调试**:现在,你可以...