`
zhengdl126
  • 浏览: 2553251 次
  • 性别: Icon_minigender_1
  • 来自: 深圳
社区版块
存档分类

19个心得 明明白白说Linux下的负载均衡

阅读更多

一、目前网站架构一般分成负载均衡层、web层和数据库层,我其实一般还会多加一层,即文件服务器层,因为现在随着网站的PV越来越多,文件服务器的压力也越来越大;不过随着moosefs、DRDB+Heartbeat的日趋成熟,这问题也不大了.网站最前端的负载均衡层称之为Director,它起的是分摊请求的作用,最常见的就是轮询。

  二、F5是通过硬件的方式来实现负载均衡,它较多应用于CDN系统,用于squid反向加速集群的负载均衡,是专业的硬件负载均衡设备,尤其适用于每秒新建连接数和并发连接数要求高的场景;LVS和Nginx是通过软件的方式来实现的,但稳定性也相当强悍,在处理高并发的情况也有相当不俗的表现。

  三、Nginx对网络的依赖较小,理论上只要ping得通,网页访问正常,nginx就能连得通,nginx同时还能区分内外网,如果是同时拥有内外网的节点,就相当于单机拥有了备份线路;lvs就比较依赖于网络环境,目前来看服务器在同一网段内并且lvs使用direct方式分流,效果较能得到保证。

  四、目前较成熟的负载均衡高可用技术有LVS+Keepalived、Nginx+Keepalived,以前Nginx没有成熟的双机备份方案,但通过shell脚本监控是可以实现的,有兴趣的可具体参考我在51cto上的项目实施方案;另外,如果考虑Nginx的负载均衡高可用,也可以通过DNS轮询的方式来实现,有兴趣的可以参考张宴的相关文章

  五、集群是指负载均衡后面的web集群或tomcat集群等,但现在的集群意义泛指了整个系统架构,它包括了负载均衡器以及后端的应用服务器集群等,现在许多人都喜欢把Linux集群指为LVS,但我觉得严格意义上应该区分开。

  六、负载均衡高可用中的高可用指的是实现负载均衡器的HA,即一台负载均衡器坏掉后另一台可以在<1s秒内切换,最常用的软件就是Keepalived和Heatbeat,成熟的生产环境下的负载均衡器方案有Lvs+Keepalived、Nginx+Keepalived。

 七、LVS的优势非常多:①抗负载能力强;②工作稳定(因为有成熟的HA方案);③无流量;④基本上能支持所有的应用,基于以上的优点,LVS拥有不少的粉丝;但世事无绝对,LVS对网络的依赖性太大了,在网络环境相对复杂的应用场景中,我不得不放弃它而选用Nginx。

  八、Nginx对网络的依赖性小,而且它的正则强大而灵活,强悍的特点吸引了不少人,而且配置也是相当的方便和简约,小中型项目实施中我基本是考虑它的;当然,如果资金充足,F5是不二的选择。

  九、大型网站架构中其实可以结合使用F5、LVS或Nginx,选择它们中的二种或三种全部选择;如果因为预算的原因不选择F5,那么网站最前端的指向应该是LVS,也就是DNS的指向应为lvs均衡器,lvs的优点令它非常适合做这个任务。重要的ip地址,最好交由lvs托管,比如数据库的ip、webservice服务器的ip等等,这些ip地址随着时间推移,使用面会越来越大,如果更换ip则故障会接踵而至。所以将这些重要ip交给lvs托管是最为稳妥的。

  十、VIP地址是Keepalived虚拟的一个IP,它是一个对外的公开IP,也是DNS指向的IP;所以在设计网站架构时,你必须向你的IDC多申请一个对外IP

  十一、在实际项目实施过程中发现,Lvs和Nginx对https的支持都非常好,尤其是LVS,相对而言处理起来更为简便。

  十二、在LVS+Keepalived及Nginx+Keepalived的故障处理中,这二者都是很方便的;如果发生了系统故障或服务器相关故障,即可将DNS指向由它们后端的某台真实web,达到短期处理故障的效果,毕竟广告网站和电子商务网站的PV就是金钱,这也是为什么要将负载均衡高可用设计于此的原因;大型的广告网站我就建议直接上CDN系统了。
 十三、现在Linux集群都被大家神话了,其实这个也没多少复杂;关键看你的应用场景,哪种适用就选用哪种,Nginx和LVS、F5都不是神话,哪种方便哪种适用就选用哪种。

  十四、另外关于session共享的问题,这也是一个老生长谈的问题了;Nginx可以用ip_hash机制来解决session的问题,而F5和LVS都有会话保持机制来解决这个问题,此外,还可以将session写进数据库,这也是一个解决session共享的好办法,当然这个也会加重数据库的负担,这个看系统架构师的取舍了。

  十五、我现在目前维护的电子商务网站并发大约是1000左右,以前的证券资讯类网站是100左右,大型网上广告大约是3000,我感觉web层的并发越来越不是一个问题;现在由于服务器的强悍,再加上Nginx作web的高抗并发性,web层的并发并不是什么大问题;相反而言,文件服务器层和数据库层的压力是越来越大了,单NFS不可能胜任目前的工作,现在好的方案是moosefs和DRDB+Heartbeat+NFS;而我喜欢的Mysql服务器,成熟的应用方案还是主从,如果压力过大,我不得不选择oracle的RAC双机方案。

  十六、现在受张宴的影响,大家都去玩Nginx了(尤其是作web),其实在服务器性能优异,内存足够的情况下,Apache的抗并发能力并不弱,整个网站的瓶颈应该还是在数据库方面;我建议可以双方面了解Apache和Nginx,前端用Nginx作负载均衡,后端用Apache作web,效果也是相当的好。

  十七、Heartbeat的脑裂问题没有想象中那么严重,在线上环境可以考虑使用;DRDB+Heartbeat算是成熟的应用了,建议掌握。我在相当多的场合用此组合来替代EMC共享存储,毕竟30万的价格并不是每个客户都愿意接受的。

  十八、无论设计的方案是多么的成熟,还是建议要配置Nagios监控机来实时监控我们的服务器情况;邮件和短信报警都可以开启,毕竟手机可以随身携带嘛;有条件的还可以购买专门的商业扫描网站服务,它会每隔一分钟扫描你的网站,如果发现没有alive会向你的邮件发警告信息或直接电话联系。

  十九、至少网站的安全性问题,我建议用硬件防火墙,比较推荐的是华赛三层防火墙+天泰web防火墙,DDOS的安全防护一定要到位;Linux服务器本身的iptables和SElinux均可关闭,当然,端口开放越少越好。

分享到:
评论

相关推荐

    linux-运维趋势第二期

    - **19个心得明明白白说Linux下的负载均衡**:这部分内容涵盖了在Linux环境下进行负载均衡时需要注意的多个方面,包括但不限于负载均衡器的选择、配置、测试以及日常维护等。 #### 四、NoSQL数据库的应用案例 - **...

    LDPC性能仿真与优化:参数调优、误比特率分析及译码方案对比

    内容概要:本文详细探讨了LDPC(低密度奇偶校验码)性能仿真的各个方面,包括关键参数的选择与调优、误比特率(BER)曲线的生成方法及其意义、以及不同译码方案的比较。文中通过具体的MATLAB和Python代码示例展示了如何进行LDPC码的设计与仿真,强调了码长、码率、列重等参数对性能的影响,并深入讨论了和积算法(Sum-Product)、最小和算法(Min-Sum)及其改进版本的特点和应用场景。此外,还介绍了软判决量化技术的优势与局限性,并提供了丰富的实战经验和技巧。 适合人群:从事通信工程、信道编码研究的专业人士,尤其是对LDPC码有浓厚兴趣的研究人员和技术开发者。 使用场景及目标:①帮助研究人员理解和掌握LDPC码的关键参数设置及其对性能的影响;②为开发人员提供实用的代码示例和优化建议,以便更好地应用于实际项目中;③通过对不同译码方案的比较,指导选择最适合特定应用场景的算法。 其他说明:本文不仅涵盖了理论分析,还包括大量实践经验分享,旨在为读者提供全面而深入的理解。同时提醒读者关注实际应用中的非理想因素,如信道噪声等,以确保仿真结果更加贴近现实情况。

    LLM大模型-python3.12版本的llama-cpp-python编译库

    Python3.12版本安装llama-cpp-python各种报错,试试我编译的库吧

    基于Qt框架的音频采集与播放工具

    本人创作,禁止商用

    机器学习中优化算法在极限学习机回归预测的应用及其实现

    内容概要:本文探讨了多种优化算法在极限学习机(ELM)回归预测中的应用,旨在提高ELM的性能。文中介绍了粒子群优化算法(PSO)、狼群优化算法(GWO)、黏菌优化算法(SMA)、麻雀优化算法(SSA)和鲸鱼优化算法(WOA),并通过具体的Matlab代码示例展示了每种算法的工作流程及其对ELM参数优化的效果。此外,还讨论了各算法的特点、适用场景及优化过程中需要注意的问题。 适合人群:从事机器学习领域的研究人员和技术人员,特别是对回归预测和优化算法感兴趣的读者。 使用场景及目标:适用于需要改进极限学习机性能的研究和工程项目,目标是通过引入不同的优化算法来提升ELM的预测精度和稳定性。 其他说明:文章提供了详细的代码实现和参数配置建议,帮助读者更好地理解和应用这些优化方法。同时,强调了在实际应用中应注意的数据预处理和参数选择等问题。

    Book Answer.zip

    Book Answer.zip

    Linux系统中定时任务设置与文件查找技术详解

    Linux系统中定时任务设置与文件查找技术详解

    综合能源系统中电、热、冷、气的分时电价与储能优化调度

    内容概要:本文详细探讨了综合能源系统中电、热、冷、气四种能源形式的优化调度方法,重点介绍了分时电价机制下的储能装置调度策略。通过Python代码实例展示了如何利用线性规划工具(如PuLP库)构建优化模型,实现储能装置的高效充放电管理以及多能流耦合设备的协调运作。文中不仅讨论了储能装置的充放电效率、初始电量设置等关键技术细节,还涉及了热泵、燃气锅炉、吸收式制冷机等多种设备之间的能量转换关系及其优化配置。 适合人群:从事综合能源系统研究的技术人员、能源管理系统开发者、工业自动化领域的工程师。 使用场景及目标:适用于需要降低综合能源系统运行成本的企业或机构,尤其是那些面临复杂电价政策和技术挑战的场景。目标是通过合理的调度策略,在满足各类能源需求的前提下,最大限度地减少运营成本,提高经济效益。 其他说明:文章强调了分时电价对储能调度的影响,并指出储能装置在削峰填谷方面的重要作用。此外,还提到了多时间尺度优化、设备启停成本等因素对整体优化效果的影响。

    超星学习助手5.5.zip

    超星学习助手5.5.zip

    C#通讯类库实现西门子PLC系列高效读写及批量处理

    内容概要:本文介绍了一种用于西门子PLC系列(如S7-200、300、1200、1500)的C#通讯类库。该类库能够直接嵌入C#框架,无需PLC端额外编码即可进行高效的单值和批量读写操作。文中详细展示了如何利用泛型方法、属性标签以及分块机制实现数据的快速传输,并讨论了连接管理和异常处理的最佳实践。此外,还介绍了类库在工业自动化项目中的应用优势,特别是在MES系统和云平台集成方面的灵活性。 适合人群:从事工业自动化项目的软件开发者和技术人员,尤其是熟悉C#编程并需要与西门子PLC交互的人群。 使用场景及目标:适用于需要将PLC数据对接MES系统或云平台的项目,旨在提高数据传输效率,减少开发时间和复杂度。具体应用场景包括但不限于生产线监控、设备参数调整、配方管理等。 其他说明:类库提供了丰富的API接口,支持多种数据类型的读写操作,同时具备良好的异常处理机制和性能优化措施。对于老项目的改造也非常友好,可以通过适配器模式快速集成到现有系统中。

    西门子S7-1200与威纶触摸屏在多工位自动化生产线中的集成应用及关键技术实现

    内容概要:本文详细介绍了在一个四工位打标机项目中,如何利用西门子S7-1200 PLC和威纶触摸屏进行多工位设备联调。主要内容涵盖四个方面:一是步进电机四轴协同控制,通过MC_Power、MC_MoveRelative等指令实现精确运动控制,并强调了轴同步启动的重要性;二是Modbus485轮询四台变频器,构建了完整的轮询状态机,解决了时序控制和报文粘连的问题;三是上位机拍照控制,通过TCP/IP通信实现了相机控制和图像数据接收,解决了TCP粘包问题;四是多工位联动,采用了状态矩阵法管理和协调各个工位的状态变化,确保系统的稳定性和可靠性。此外,还分享了一些调试经验和常见问题的解决方案,如接地处理、通讯线布线等。 适用人群:从事自动化控制系统设计、安装和维护的技术人员,尤其是对西门子PLC和威纶触摸屏有一定了解的工程师。 使用场景及目标:适用于需要进行多工位设备联调的自动化生产线项目,旨在提高设备间的协作效率,减少调试时间和成本,确保系统的稳定运行。 其他说明:文中提供了大量实际项目的代码片段和技术细节,有助于读者更好地理解和应用于实际工作中。同时,作者还分享了许多宝贵的调试经验和注意事项,对于新手来说是非常有价值的参考资料。

    三相并网逆变器中单矢量模型预测控制(MPC)的应用与优化

    内容概要:本文详细介绍了将模型预测控制(MPC)应用于三相并网逆变器的技术细节及其优化方法。首先对比了传统PI控制与MPC的区别,指出MPC能够更好地应对电网扰动。接着展示了MPC的核心算法,包括电压矢量的选择、预测模型的建立以及代价函数的设计。文中提到通过Clarke变换简化计算,并引入在线参数辨识提高预测准确性。此外,针对电网电压畸变等问题进行了改进,加入了谐波补偿项。硬件实测表明,MPC在电流跟踪精度和响应速度方面表现优异,特别是在电网电压突变情况下仍能保持稳定。 适合人群:从事电力电子、自动化控制领域的研究人员和技术人员,尤其是对三相并网逆变器感兴趣的专业人士。 使用场景及目标:适用于希望提升三相并网逆变器控制性能的研究项目或工业应用。主要目标是在保证高效能量传输的同时,减少开关损耗并提高系统的抗干扰能力。 其他说明:文章提供了丰富的代码片段和实践经验分享,有助于读者深入理解MPC的工作原理及其在实际工程中的应用技巧。同时强调了调参过程中的一些注意事项,如电感参数的影响、代价函数权重的选择等。

    基于新型趋近律的永磁同步电机(PMSM)滑模控制优化及其Python/MATLAB实现

    内容概要:本文详细探讨了针对永磁同步电机(PMSM)的传统滑模控制存在的抖振问题,并提出了一种基于新型趋近律的改进方案。文中首先介绍了新型趋近律的数学表达式及其物理意义,强调了参数γ和α对系统性能的影响。随后展示了Python和MATLAB两种环境下的实现代码,包括q轴电流控制器的设计、滑模面的构建以及控制律的具体实现。此外,文章还讨论了参数调试技巧、积分项处理方式、抗饱和措施等实用经验,并通过仿真和实验数据证明了改进方案的有效性。 适合人群:从事电机控制研究的技术人员、自动化领域的研究生及以上学历的研究者。 使用场景及目标:适用于需要提高PMSM控制系统稳定性和鲁棒性的场合,如工业自动化设备、电动汽车等领域。主要目标是减少抖振、提升响应速度并改善系统的总体性能。 其他说明:文中提供了大量具体的代码实例和调试建议,有助于读者快速理解和掌握新型趋近律的应用方法。同时指出了一些常见的陷阱和注意事项,为实际项目实施提供指导。

    基于Q-Learning的三维路径规划算法实现与应用-Python TensorFlow

    内容概要:本文详细介绍了如何使用Q-learning算法在三维环境中实现路径规划。首先构建了一个三维网格世界作为环境,其中包含了障碍物的设定。然后实现了Q-learning算法的核心部分,即QAgent类,负责根据当前状态选择最佳行动并更新Q值。为了提高效率,采用了字典形式的稀疏存储方式来记录状态-动作对的价值。此外,还设计了合理的奖励机制,如成功到达终点给予正向激励,碰到障碍物则给予负向反馈。同时提供了保存和加载训练成果的功能,以便后续复用。最后通过Matplotlib进行了可视化展示,直观呈现了智能体的学习过程及其最终形成的最优路径。 适合人群:对机器学习特别是强化学习感兴趣的开发者,以及从事机器人导航、自动驾驶等领域研究的专业人士。 使用场景及目标:适用于需要解决复杂环境下路径规划问题的应用场合,比如无人机飞行路径规划、室内机器人行走路线设计等。目的是使智能体能够在未知环境中自主寻找从起始位置到目标位置的安全路径。 其他说明:文中提到的方法虽然简单易懂,但在面对更大规模或连续性的环境时可能存在性能瓶颈。对于这类情况,可以考虑采用深度强化学习方法进一步改进。

    Matlab实现CPO-BP冠豪猪算法(CPO)优化BP神经网络时间序列预测的详细项目实例(含完整的程序,GUI设计和代码详解)

    内容概要:本文档详细介绍了如何使用Matlab实现CPO-BP冠豪猪算法(CPO)优化BP神经网络进行时间序列预测。项目背景在于时间序列预测的重要性及其面临的挑战,如数据噪声、非线性特征和BP神经网络易陷入局部最优解等问题。文中阐述了CPO优化BP神经网络的方法,通过CPO算法的全局搜索能力,提高了BP神经网络的预测精度和收敛速度。项目涵盖了从数据预处理、CPO算法优化、BP神经网络训练到预测的全过程,并提供了详细的代码示例。此外,项目还包括了GUI设计、模型评估、防止过拟合、参数调整等多个方面,确保模型的有效性和实用性。 适合人群:具备一定编程基础,熟悉Matlab和神经网络基础知识的研发人员,特别是从事时间序列预测研究和技术开发的专业人士。 使用场景及目标:①适用于金融、经济、电力需求、天气预报、医疗健康等多个领域的实际时间序列预测问题;②通过CPO优化BP神经网络,提高预测精度和模型收敛速度;③提供完整的代码实现和GUI界面,方便用户进行数据处理、模型训练和结果展示。 其他说明:项目不仅关注技术实现,还强调了实际应用中的注意事项,如数据质量、模型参数调优、算法收敛性、计算资源等。此外,项目提出了未来的改进方向,如引入深度强化学习、多模型集成、非平稳时间序列支持等,以进一步提升模型的性能和适应性。

    基于相位逗留原理的非线性调频(NLFM)信号matlab仿真(附源码)

    现将 POSP 的设计步骤总结如下:首先以选定的窗函数作为 NLFM 信号的功 率谱函数,然后通过积分可以求得其 NLFM 信号的群时延函数,然后再通过对群时 延函数取反,便可以得到 NLFM 信号的调频函数,在取反函数的过程中可能会用到 多项式拟合、三次样条插值法、正切函数逼近法以及初等函数分段拟合等手段,在 得到调频函数之后,对其积分,得到 NLFM 信号的相位函数 clc clear all close all % 参数设置 T = 10e-6; % 脉冲宽度10微秒 B = 20e6; % 带宽20MHz Fs = 2 * B; % 采样率40MHz N_samples = round(T * Fs); % 总采样点数 t_axis = linspace(-T/2, T/2, N_samples); % 时间轴[-T/2, T/2] % 生成频率轴[-B/2, B/2] f_axis = linspace(-B/2, B/2, N_samples); % 生成Hamming窗作为功率谱 S_f = hamming(N_sampl

    基于SpringBoot的在线学习系统:视频管理、积分排行与安全防护的关键实现

    内容概要:本文详细介绍了使用SpringBoot构建在线学习系统的具体实现和技术要点。首先探讨了视频管理功能,采用MinIO进行对象存储,确保视频文件的安全性和高效管理。接着讲解了积分排行榜的实现,利用Redis的ZSet结构提高查询效率并保持实时性。同时强调了系统安全性的多个方面,如防止XSS攻击、敏感词过滤以及权限控制机制。此外,还分享了一些实用技巧,如文件下载时避免内存溢出、视频播放的分片传输、以及使用FFmpeg优化视频格式等。 适合人群:具有一定Java开发经验,特别是熟悉Spring框架的开发者,以及希望深入了解在线教育平台架构设计的技术爱好者。 使用场景及目标:适用于正在开发或维护在线教育平台的技术团队,旨在提升系统的稳定性和用户体验。主要目标包括:实现高效的视频上传和播放、构建高性能的积分系统、保障系统的安全性。 其他说明:文中不仅提供了具体的代码示例,还分享了许多实践经验,帮助读者更好地理解和应用相关技术。对于想要深入研究SpringBoot及其生态系统的人来说,是一份非常有价值的参考资料。

    双馈风力发电系统中基于双PWM变换器的直接转矩输入控制与抗干扰设计

    内容概要:本文深入探讨了双馈风力发电系统中基于双PWM变换器的直接转矩输入控制策略及其抗干扰设计。首先介绍了转子侧基于定子磁链定向的矢量控制,包括速度环和电流环的PI调节器参数设置及解耦补偿。接着讨论了网侧直接功率控制,强调了功率因数锁定在1.0的目标以及解耦算法的应用。此外,还详细描述了crowbar保护电路的作用及其触发逻辑,展示了其在应对风速突变和电网电压波动时的有效性。文中提供了多个代码片段用于解释具体实现,并分享了实际仿真的测试结果。 适合人群:从事风力发电系统设计与维护的技术人员,尤其是对双PWM变换器和直接转矩控制感兴趣的工程师。 使用场景及目标:适用于希望深入了解双馈风力发电系统控制策略的研究人员和技术人员。主要目标是掌握直接转矩输入控制的具体实现方法,提高系统的抗干扰能力和稳定性。 其他说明:文章引用了多篇权威文献,如《电力电子技术》和IEEE Transactions on Power Electronics,为读者提供了进一步学习的方向。同时,作者强调了现场调试的重要性,鼓励读者结合理论与实践进行探索。

    基于MATLAB的综合能源系统中主从博弈与碳交易机制的程序设计

    内容概要:本文详细介绍了利用MATLAB进行综合能源系统的设计,重点探讨了主从博弈、多主体博弈以及碳交易机制的应用。文中通过具体的数学模型和代码实例展示了如何平衡多种能源的供需关系,如太阳能、风能和传统火力发电。作者通过定义成本函数、效用函数和碳排放函数,结合MATLAB的优化工具包(如fmincon),实现了对能源分配、碳交易和需求响应的仿真。此外,文章还分享了一些实际项目中的经验和技巧,如如何避免代码中的常见错误和优化性能。 适合人群:从事综合能源系统研究的技术人员、研究生及以上学历的学生,尤其是那些熟悉MATLAB编程和有一定优化理论基础的人群。 使用场景及目标:适用于需要理解和应用博弈论、优化方法于能源管理系统中的研究人员和技术开发者。主要目标是帮助读者掌握如何使用MATLAB实现复杂的能源管理和碳交易模型,从而更好地应对实际工程项目中的挑战。 其他说明:文章不仅提供了详细的代码示例,还包含了丰富的背景知识介绍和实践经验分享,有助于读者全面理解相关概念并在实践中加以运用。

    基于MATLAB仿真的Z源光伏并网系统:扰动观察法与双闭环控制的应用

    内容概要:本文详细介绍了如何利用MATLAB搭建Z源光伏并网系统的仿真模型,重点探讨了扰动观察法(P&O)实现最大功率点跟踪(MPPT)以及电压电流双闭环控制的具体方法。文中通过具体代码展示了直通矢量法在Z源逆变器中的应用,解释了如何通过调整开关管的状态来实现电压提升,并讨论了双闭环控制中PID控制器的参数设置及其对抗电网扰动的作用。此外,文章还分享了一些仿真过程中的实践经验,如初始化设置、仿真精度和参数调整等方面的问题。 适合人群:从事电力电子、新能源发电领域的研究人员和技术人员,尤其适用于有一定MATLAB/Simulink基础并对光伏并网系统感兴趣的读者。 使用场景及目标:①帮助读者理解Z源逆变器的工作原理及其在光伏并网系统中的优势;②掌握扰动观察法和双闭环控制的具体实现方法;③提高仿真模型的准确性,为实际系统的设计和优化提供参考。 其他说明:文章强调了仿真过程中的一些关键技术和注意事项,如直通矢量的插入策略、PID参数的整定、仿真精度的选择等。通过对这些技术细节的深入探讨,旨在为读者提供一个完整的Z源光伏并网系统仿真解决方案。

Global site tag (gtag.js) - Google Analytics