负载均衡-----企业高并发的成熟解决方案（一）

原文转自:https://my.oschina.net/bigdataer/blog/486770

摘要: 【整个企业网站架构分析 】 1)在集群下,Session是如何共享的三种方案(优劣对比) 2)在集群下,N多台App服务器是如何被转发的(提出几种方案,优劣对比,采用最好的方案) 3)在集群下,N多台数据库是如何被连接的(提出二种方案,优劣对比,采用最好的方案) 4)在集群下,整个网站的瓶颈在哪里? 5)大数据(hadoop)在企业的整个架构中,处在什么地位,有什么作用? 【访问人数过多时,而引起的高并发解决方案(原理,搭建,演示) 】 1)支持App服务器出现故障时,主服务器能自动将其移除任务列表 2)支持App服务器恢复正常时,主服务器能自动将其添加回任务列表 3...


    负载均衡服务器高并发

企业高并发概念出自阿里巴巴研究院

什么是高并发：多个进程或者线程同时（或者在同一段时间内）访问统一资源会产生的并发问题

企业级应用常见的架构图：

2. 高并发原理图：

3.高并发初期解决方案：

3.1系统或服务器级别解决方案：

①增大服务器的CPU

②增加内存条

③增加硬盘个数，对硬盘做Radis

④换掉免费的tomcat，使用商用weblogic（美国Oracle公司出品的）

⑤增加到二块网卡

⑥聘请系统架构师优化Linux内核

⑦甚至花高价直接购买高性能的服务器

随着业务的不断增加，服务器性能很快又达到瓶颈

3.2 应用级别的解决方案

① 网页HTML静态化（需要CMS项目支持）

②图片服务器分离（常用解决方案）

③缓存（常用解决方案）上上策为分布式缓存

④ 镜像（下载较多）

3.3 解决用户IP多了的办法是？

开始使用DNS：

缺点：虽然循环复用DNS是一个普遍使用的在Web服务器上负载平衡的解决方案，但是，该方式有它自身的缺陷。循环复用DNS将传入的IP请求映射到定义的一系列循环形式的服务器。一旦发生服务器故障，循环复用DNS继续把请求发送到这个故障服务器，一直到把该服务器从DNS中移走为止。这样许多用户必须等到DNS连接超时以后才能成功的访问目的网站。

终极解决方案：

采用负载均衡技术

3.4 负载均衡

(1) 负载均衡服务器的三大功能：

①转发：在用户请求，转发请求的功能

②故障移除：如果这一台机器挂了，负载均衡服务器不会再把请求转发到这台服务器

③恢复添加：如果这一台机器恢复正常了，负载均衡服务器会把它重新添加回来

(2)负载均衡服务器种类--通过软硬件角度：

①通过硬件来解决：NetScaler、F5、Radware和Array等商用的负载均衡器，它们性能好，但是价格比较昂贵的

②通过软件来解决（反向代理服务器 缓存服务器等），三大软件：

LVS（Linux Virtual Server）：最好的软件策略，有备机有主机，无单点问题，国产（阿里章文嵩博士）开源项目，工作在网络四层上

Nginx：Ngnix有”单点故障“的问题，如果挂了，会带来很多的麻烦。到了后期Web服务器继续增加，它本身可能会成为系统的瓶颈

nginx最高支持50000个并发连接数，工作在网路七层上

Apache：web服务器第一，但不是最好的负载均衡服务器，工作在网路七层上

LVS对比NGinx

负载度： LVS KO Ngnix

功能多少：Nginx KO LVS

稳定度：LVS KO Nginx

服务器性能要求：LVS KO Nginx

效率最高的负载均衡技术中，最高的就是IP负载均衡技术。IP虚拟服务器软件（IPVS）是在Linux内核中实现的,LVS就是使用的IP负载均衡技术

(3) 常用的高可用方案（HA）都包括两种机器，LVS：

主机    备机

(4) 常用的服务器

tomcat

weblogic（大公司，追求稳定）

(5) 常用数据库

mysql 、oracle 、mssql

称为高可用（HA）

(6) 高并发发生在两处

① 负载均衡服务器

②数据库

(7) 应用服务器会出现的问题和解决方案

①多台服务器下用户登录了，session是如何共享的

②用户请求一号机器时候产生了session，用户请求二号机时候就没有session了，后果就是程序把用户踢到登录页面

解决方案（三种）：

①可以把用户的session放在cookie中

优点：解决了session没有的问题

缺点：session放在了用户的浏览器中，是不安全的

②可以把用户的session放在数据库中

优点：解决了session没有的问题

缺点：网站是一个成千上万用户的网站，如果把session放在数据库中，会造成数据库压力太大，从而使得网站不能正常运转

③可以把用户的session放在缓存服务器中

最好的解决方案是放在缓存服务器中

推荐两种缓存服务器：Memcache、Redis

要求：Memecache、Redis必须是集群

(8) 数据库并发

①要求：随着业务量的不断增大，数据库承载能力也要增大

②要求：数据安全，不能丢失

③要求：支持备份+容灾

(9)Hadoop集群和RDMS之间数据处理流程：

①通过sqoop把关系型数据库的数据导入到HDFS中

②把HDFS中的数据经过MapReduce进行计算及处理

③将处理后的解决数据写回到HDFS文件系统

④把结果数据倒回关系型数据库

⑤将关系型数据库的数据形成报表展示

4.分析完企业整体架构后，开始搭建负载均衡服务器，并演示效果

4.1搭建LVS负载均衡，场景描述：

开启四台Linux系统(Centos6.4)

第一台：负载均衡主机

第二台：负载均衡备机

第三台：真实服务器（http服务器）

第四台：真实服务器（http服务器）

http服务器是Apache公司的服务器，在linux系统上自带的，可以直接使用，方便快捷

4.2 准备开始搭建，搭建成功后，演示刚才说的那三个功能

4.2.1验证功能：

①转发功能

②故障移除的功能

③恢复添加的功能

④主机关了，备机是否接管它的工作

环境：window7 系统

VMware虚拟机，在虚拟机上启动四台Centos6.4服务器

i5cpu  500G磁盘  内存：8G

心跳检测机制

4.2.2 三种IP：

负载均衡IP：所在服务器IP

VIP：LVS这个软件的IP，正是我们要访问的IP

192.168.200.201  访问IP

真实服务器RIP（realIP）

4.2.3 IP分配

149： 负载均衡服务器

150： 负载均衡服务器

151： Http服务器

152： Http服务器

4.2.4  启动Http服务器

启动Http服务器命令：

service httpd start

查看防火墙的状态：

service iptable status

关闭防火墙：

service iptables stop

彻底关闭防火墙：

chkconfig iptables off

Http服务器应该不一样，转发的时候才能知道转发到哪里了

cd /var/www/html/

vim index.html

输入内容： I am http 151，保存退出

然后再两台服务器上添加端口

cd  /etc/init.d/

vim  realserver

粘贴内容，保存退出

chmod 755 realserver

service realserver start

ifconfig查看，如果出现一个虚拟ip（lo：0   192.168.200.201），则说明启动成功

4.2.5 搭建负载均衡主机

安装keepalived软件

uname -a 查看当前机器系统内核

上传keepalived软件到服务器目录下：

安装keepalived软件命令：

rpm -ivh keepalived-版本号

查看软件安装在哪里：

rpm -ql   keepalived-版本号

查找配置文件的位置，然后编辑配置文件：

vim /etc/keepalived/keepalived.conf

> /etc/keepalived/keepalived.conf  (>可以用于清除内容)

vim /etc/keepalived/keepalived.conf，复制配置到配置文件里面，wq保存

149防火墙也要记得关闭

启动服务：

service keepalived start

tail -f  /var/message，查看日志信息

4.2.6 验证三大功能

搭建完成，在浏览器输入访问IP（VIP）查看

VIP（访问IP）http://192.168.200.201 访问IP

1）转发功能：151  152，发现可以在两台HTTP服务器之间切换

2）故障移除： 把152机器手动关掉，再查看效果

service  httpd stop,访问152出现没法连接的效果

在访问VIP发现始终是访问的151机器，证明负载均衡有故障移除的功能

3） 恢复添加

把152机器再手动启动，再查看效果

service httpd start，发现152重新启动了，再 访问VIP发现可以重新再两台ftp服务器之间切换了

证明：负载均衡有恢复添加的功能

4）负载均衡主机关了，备机是否接管它的工作

搭建备机，150机器上搭建,和上面的步骤一样

配置文件中将state  Master修改成state  BACKUP

搭建备机成功

关闭负载均衡主机149机器，查看150机器是否接管它的工作

service keepalived stop

证明负载均衡主机关闭了，备用机确实接管了他的工作

负载均衡主机备机搭建成功，负载均衡的功能验证通过！

备注：

1.201IP是LVS的IP，访问IP（VIP）

2.LVS比例：权重是可以分配的，上面的演示是1:1

3.http是Centos自带的，用tomcat也是可以的，但是用tomcat，要安装JDK,为了节约时间才选用http服务器的

4.两台tomcat服务器和两台Http服务器使用方法是一样的，就是给Tomcat的默认8080端口改成80端口

5.LVS要安装吗？

不需要安装，LVS linux虚拟机，是linux自带的，要求内核是2.6版本以后就支持了，不需要安装

6.windows下安装是非常不专业的，企业级服务器都是用linux服务器（redHat、centos）

7.LVS主机配置的Master，备机配置的BACKUP

8.通过心跳检查机制检查主机宕机了，然后切换到备机（RPC）

9.主机和备机  属性Master和Backup 优先级

评论

1 楼 阿拉扫思密达 2017-05-11  

1、Linux集群主要分成三大类( 高可用集群， 负载均衡集群，科学计算集群)（下面只介绍负载均衡集群）
负载均衡集群(Load Balance Cluster)
负载均衡系统：集群中所有的节点都处于活动状态，它们分摊系统的工作负载。一般Web服务器集群、数据库集群和应用服务器集群都属于这种类型。

负载均衡集群一般用于相应网络请求的网页服务器，数据库服务器。这种集群可以在接到请求时，检查接受请求较少，不繁忙的服务器，并把请求转到这些服务器上。从检查其他服务器状态这一点上看，负载均衡和容错集群很接近，不同之处是数量上更多。


2、负载均衡系统： 负载均衡又有DNS负载均衡（比较常用）、IP负载均衡、反向代理负载均衡等，也就是在集群中有服务器A、B、C，它们都是互不影响，互不相干的，任何一台的机器宕了，都不会影响其他机器的运行，当用户来一个请求，有负载均衡器的算法决定由哪台机器来处理，假如你的算法是采用round算法，有用户a、b、c，那么分别由服务器A、B、C来处理；


3、分布式是指将不同的业务分布在不同的地方。
而集群指的是将几台服务器集中在一起，实现同一业务。
分布式中的每一个节点，都可以做集群。
而集群并不一定就是分布式的。
举例：就比如新浪网，访问的人多了，他可以做一个群集，前面放一个响应服务器，后面几台服务器完成同一业务，如果有业务访问的时候，响应服务器看哪台服务器的负载不是很重，就将给哪一台去完成。
而分布式，从窄意上理解，也跟集群差不多， 但是它的组织比较松散，不像集群，有一个组织性，一台服务器垮了，其它的服务器可以顶上来。
分布式的每一个节点，都完成不同的业务，一个节点垮了，哪这个业务就不可访问了。