`
dajuezhao
  • 浏览: 60880 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

关于集群数据负载均衡

阅读更多

一、环境

1、hadoop 0.20.2

2、操作系统 Linux

二、关于负载均衡

1、一般情况下,数据在录入集群的时候就进行负载均衡,根据各个节点的情况来做数据平衡分发存放。

2、但是如果在新增节点之后,如果想做到负载均衡则需要使用balancer的命令。对于这个命令,一般是有一个阀值,默认是10%

也就是说,节点之间差额不过10%,集群认为就是均衡的。

3、当然,负载的越平均,查询相对也较快,但是均衡的过程会耗时不少。

三、操作

1、新添加节点到集群,启动节点机器
sh hadoop-daemon.sh start datanode
sh hadoop-daemon.sh start tasktracker
2、启动balancer命令
sh stop-balancer.sh
3、查看进程jps
15294 NameNode
15961 Balancer
15553 JobTracker
15473 SecondaryNameNode
16162 Jps
可以看到balancer已启动
4、检查是否在平衡,通过http://192.168.3.131:50070/dfsnodelist.jsp?whatNodes=LIVE查看
四、总结
1、平衡的过程比较慢,但是在这个过程中可以执行一些job
2、数据的平衡是缓慢进行的。
3、平衡的阀值一般是10%,可以通过修改阀值来再次平衡
4、负载均衡如果重复启动,将会提醒要求先停止
5、写的不对或是有疑问,欢迎发邮件沟通。dajuezhao@gmail.com

分享到:
评论

相关推荐

    Java集群与负载均衡

    Java集群与负载均衡是构建大型、高可用性Web应用程序的关键技术。它们确保系统能够处理大量并发请求,并在硬件故障或高负载情况下保持服务的稳定性和响应速度。下面将详细探讨这两个概念及其在Java开发中的应用。 ...

    集群与负载均衡的介绍

    ### 集群与负载均衡的关键知识点 #### 一、集群与负载均衡的基本概念 - **集群(Cluster)**:指的是将多台计算机连接起来形成一个整体,以提供更高可用性、更好性能的服务。集群通常包括多个节点(Node),每个节点...

    流媒体服务器集群的负载均衡

    总的来说,流媒体服务器集群的负载均衡不仅涉及到服务器间的负载分配,还涉及到存储管理和数据传输效率。通过结合多种策略和机制,可以有效地提升整个系统的性能和用户体验。对于大型视频点播系统,设计和实现有效的...

    Tomcat集群与负载均衡

    ### Apache Tomcat 集群与负载均衡 #### 1. 集群相关简介 ##### 1.1 集群 集群是一组通过高速网络互相连接的计算机,它们作为一个整体协同工作,对外呈现出单一系统的特性。客户端与集群交互时,会感觉像在与一个...

    Mysql数据库与SQL优化+集群+负载均衡.doc

    Galera Cluster 是一种高可用性和高性能的 MySQL 集群解决方案,通过多个节点组成的集群系统来实现数据同步和负载均衡。 MySQL Fabric 是 MySQL 官方提供的一款 MySQL 集群解决方案,通过 Fabric Node 和 Fabric ...

    MySQL数据库集群+负载均衡(LVS)

    ### MySQL数据库集群+负载均衡(LVS) #### 一、概述 **MySQL数据库集群+负载均衡(LVS)** 这个主题涵盖了构建一个高可用性、高性能的MySQL集群,并通过负载均衡技术来实现对集群中多个MySQL实例请求的智能分发。这种...

    基于集群的负载均衡方案

    在构建高性能的分布式系统时,负载均衡是一个至关重要的概念,其目标是确保系统资源的高效利用,提升服务...通过以上步骤,我们可以有效地实现基于集群的负载均衡,从而提升平台的性能和稳定性,满足高并发场景的需求。

    Tomcat服务器集群和负载均衡

    本文将深入探讨“Tomcat服务器集群”和“负载均衡”的概念,以及如何进行相关的配置。 首先,我们要理解什么是Tomcat服务器集群。集群是一种通过多台服务器共享工作负载、提供冗余和提高可用性的方式。在Tomcat环境...

    linux 服务器集群与负载均衡技术

    总之,Linux服务器集群与负载均衡技术是现代数据中心不可或缺的部分,通过合理的设计和配置,可以大大提高系统的稳定性和效率。掌握这些技术对于IT专业人士来说至关重要,能帮助企业构建强大而可靠的IT基础设施。

    服务器集群与负载均衡讲述.ppt

    负载均衡的应用广泛,不仅在大型网站和数据中心常见,还在CDN(Content Delivery Network)、云服务等领域发挥着重要作用。反向代理负载均衡不仅优化了资源利用,还提供了故障切换功能,当某台服务器出现问题时,负载...

    服务器集群与负载均衡技术分享

    服务器集群与负载均衡技术是构建高可用、高性能网络服务的核心技术。本文将深入探讨这些概念,以及它们在实际应用中的重要性。 首先,服务器集群分为同构和异构两种类型。同构集群由架构相同的计算机组成,而异构...

    MySQL高可用负载均衡集群部署

    MySQL 高可用负载均衡集群部署 MySQL 高可用负载均衡集群部署是指在 MySQL 数据库中实现高可用性和负载均衡,以提高数据库的性能和可靠性。在本文中,我们将介绍如何使用 haproxy 和 keepalived 实现 MySQL 高可用...

    Web集群系统的负载均衡算法

    ### Web集群系统的负载均衡算法 #### 摘要与引言 随着互联网技术的发展和用户需求的提升,传统的单一服务器架构越来越难以满足高并发、低延迟的服务需求。为了解决这一问题,人们开始广泛采用集群技术来构建高性能...

    linux下配置tomcat集群的负载均衡

    在Linux环境下配置Tomcat集群的负载均衡,是为了提高应用程序的可扩展性和高可用性。集群是一种将多个服务实体协作工作,以提供更高性能和稳定性的技术。在客户端看来,集群就像是一个单一的服务实体,但实际上它是...

    Linux负载均衡集群

    【Linux负载均衡集群】是指通过特定的技术手段,将多台Linux服务器组成一个集群,使得客户端的请求能够均匀地分布到各个服务器上,从而提高服务的可用性和处理性能。在这个场景中,Apache作为Web服务器,被配置为...

    tomcat集群和负载均衡

    当我们谈论“Tomcat集群和负载均衡”时,我们指的是通过多台Tomcat服务器来分发和处理来自用户的网络请求,以提高系统可用性和性能。 首先,让我们了解什么是Tomcat集群。在集群环境中,多台Tomcat服务器共享相同的...

Global site tag (gtag.js) - Google Analytics