`
bupt04406
  • 浏览: 348292 次
  • 性别: Icon_minigender_1
  • 来自: 杭州
社区版块
存档分类
最新评论

如何在一个hadoop集群新增一些机器而不重启

阅读更多
coderplay,在http://coderplay.iteye.com/blog/290767中介绍了怎样hadoop集群中安全的减少一些机器

我在FAQ中找到了如何在集群中增加机器,而不需要重启集群
操作如下:
首先,把新节点的 IP或主机名 加入主节点(master)的 conf/slaves 文件。
然后登录新的从节点,执行以下命令:
$ cd path/to/hadoop
$ bin/hadoop-daemon.sh start datanode
$ bin/hadoop-daemon.sh start tasktracker

然后就可以在namanode机器上运行balancer,执行负载均衡
$bin/hadoop  balancer
分享到:
评论

相关推荐

    Hadoop集群(zookeeper框架下)增加服役节点_step-b-step.docx

    在本例中,Hadoop集群由9个节点组成,其中包括2个主节点,而Zookeeper集群分布在3个节点上。计划向集群中增加2个节点,使其总节点数达到11个。这个过程必须在不影响现有服务的情况下进行。 扩容前的准备工作至关...

    Hadoop集群扩容操作手册

    在大数据处理中,Hadoop集群的存储空间是非常宝贵的。当集群的磁盘快满时,需要对集群进行扩容。扩容操作可以分为两种方法:增加存储容量和对数据进行压缩存储。 1. 增加存储容量 增加存储容量是指增加DataNode...

    eclipse 操作Hadoop插件

    这一插件允许开发者直接在 Eclipse 中进行 Hadoop 文件系统的交互,而无需离开开发环境,极大地提高了开发效率和便捷性。 Hadoop 是一个开源的分布式计算框架,由 Apache 软件基金会维护,主要设计用于处理和存储大...

    eclipse安装Hadoop插件

    通过上述步骤,我们不仅成功地在Eclipse中安装了Hadoop插件,还进一步配置了Hadoop环境,包括设置Hadoop集群的位置、释放Hadoop-common库以及关闭HDFS的权限检查等功能。这些操作有助于提高Hadoop程序开发的效率和...

    hadoop故障分析与技术方案揭秘

    Hadoop集群系统结构被描述为具有IDC4和IDC5两个集群,其中IDC4拥有197台节点,总存储空间达725.67TB,空间使用率达到53%,每日作业量在3000到5000之间,主要服务于BI(商业智能)部门。IDC5集群有100台节点,存储...

    Hadoop入门实战手册

    **7.5 如何在一个Hadoop集群新增或删除一些机器而不重启** - **新增节点**:逐步指导如何添加新的节点到现有集群中。 - **删除节点**:介绍如何从集群中安全地移除节点。 **7.6 其它日常问题说明**:针对常见的运维...

    大数据云计算技术 Hadoop应用浅析(共16页).pptx

    此外,集群每天新增数据量达4TB以上,提交的Job数量约2000个,表明了Hadoop在处理大量数据和任务上的能力。 Hadoop的应用方面,包括数据挖掘、商业智能和数据平台构建。数据挖掘用于网页库爬取、网页关键词提取、...

    hadoop-eclipse-plugin-2.2.0.zip

    在Eclipse的“Window”菜单中选择“Preferences”,在弹出的对话框中可以看到新增的Hadoop配置选项,用户可以在这里设置Hadoop集群的相关参数,如Hadoop的安装路径、JobTracker和NameNode的地址等。 在实际开发过程...

    hadoop-eclipse-plugin-2.7.1

    在安装插件时,通常会将这个jar包复制到Eclipse的plugins目录下,然后重启Eclipse,即可在IDE中看到新增的Hadoop相关选项。 在实际开发中,Hadoop Eclipse Plugin 2.7.1不仅简化了开发流程,也降低了学习曲线。...

    hadoop winutils.exe运行文件

    在Windows环境下搭建Hadoop开发或测试环境时,经常会遇到一个问题,那就是“缺少winutils.exe”错误。这个错误意味着系统无法找到必要的Hadoop工具组件,winutils.exe是Hadoop在Windows操作系统上运行的关键部分,...

    eclipse搭建hadoop-3.1.2所需插件.rar

    7. **配置Hadoop环境**:在Eclipse中,右键点击项目 -> "Properties" -> "Hadoop Configuration",在此处配置Hadoop的安装路径和相关参数,确保Eclipse能正确连接到Hadoop集群。 8. **开发与调试**:现在,你可以...

    亿赞普Hadoop应用浅析 共16页.pptx

    集群每天新增数据量不少于4TB,平均每天有2000个Job被提交,输入日志达到60-80TB,集群使用率保持在20-25%之间。 在应用方面,IZP利用Hadoop进行数据挖掘,通过爬取网页并存储在Hbase中,提取关键词信息,进行网页...

    hadoop-plugin-2.7.2_for_eclipse.jar.zip

    此外,虽然插件主要针对Hadoop MapReduce,但由于Hadoop与Spark的紧密关系,通过插件,开发者可以便捷地将Hadoop项目转换为Spark项目,或者在Hadoop集群上运行Spark作业,实现了从传统批处理到实时分析的平滑过渡。...

    hadoop-eclipse-plugin-2.8.0.zip 亲测Eclipse2020+Hadoop2.10可用

    这个插件扩展了Eclipse的功能,使开发者可以在Eclipse内部创建Hadoop项目,直接浏览HDFS文件系统,以及将应用程序部署到Hadoop集群上。 描述中提到的“将文档拷贝到eclipse\plugins目录下”是指将解压后的插件文件...

Global site tag (gtag.js) - Google Analytics