正在赶写演讲的ppt,突然听到短信想起,没理会,以为是广告呢。刚放下念头,短信接连不断的响起来,不用想
,准是哪个服务器报警了。
打开nagios监控见面,发现3个服务器(3个服务器处于同一个集群下,业务为论坛,同时在线人数大概4万人)的
load过高,处于warning状态
1、 先查看访问流量,通过对比,跟以前没什么差别。
2、 查看每个服务器的进程数和cpu使用情况,跟以前也没什么差别。
3、 查看系统日志,每个服务器都有“TCP: Treason uncloaked! Peer 113.247.241.146:21345/80 shrinks
window 2128147967:2128149427. Repaired.”
4、 查看php日志,大量“[WARNING] fpm_request_check_timed_out(), line 158: child 25379, script
'/mnt/html/bbs/forum.php' (pool default) execution timed out (120.306361 sec), terminating”。打
开论坛首页,居然花了120多秒。我在php配置文件里设置的执行中断时间是120秒,超过这个值则关闭该子进程。
看来应该从这里下手了。
先问问其他人,最近有没有改程序,有没有加插件?答:“没有”。我再仔细检查了系统:
(1) 查看有没有文件系统损坏而不能写入
(2) 查看分区是否满(实际上满了的话,有短信报警的)
(3) 查看tcp连接状态,还没以前多呢,看来不是系统的问题
那么,与之有关联的还有数据库、nfs文件系统以及memchached。先检查容易的,好!先检查nfs,正常;再检查
memcached,正常。看来估计数据库有什么问题了。
登录数据库,先查看数据库错误日志,tail –f 一下,滚动输出,看来问题找到了。输入的内容主要有一下几行
:
[ERROR] Got error 134 when reading table './uc_mumayi/cdb_uc_members'
[ERROR] Got error 134 when reading table './uc_mumayi_net/cdb_uc_members'
[ERROR] /usr/local/mysql/libexec/mysqld: The table 'pre_common_session' is full
接下来,从处理表满开始,把它的行数值设置巨大一点,我设置的是1000万,指令为:mysql>ALTER TABLE
pre_common_session MAX_ROWS=10000000; 完毕后3个web服务器的负载马上就下降了。从报错信息中,可以判断
有2个表可能损坏了。检查一下,如果真坏了,就修复一下吧!
(1)检查第一个表:mysql> check table cdb_uc_notelist;输出为
+---------------------------+-------+----------+-----------------------------------------------
------------+
| Table | Op | Msg_type | Msg_text
|
+---------------------------+-------+----------+-----------------------------------------------
------------+
| uc_mumayi.cdb_uc_notelist | check | warning | 11 clients are using or haven't closed the table
properly |
| uc_mumayi.cdb_uc_notelist | check | warning | Size of datafile is: 260372 Should be:
259760 |
| uc_mumayi.cdb_uc_notelist | check | error | Wrong bytesec: 101-114-110 at linkstart: 258412
|
| uc_mumayi.cdb_uc_notelist | check | error | Corrupt
|
+---------------------------+-------+----------+-----------------------------------------------
------------+
4 rows in set (0.04 sec)真损坏了,修复一把:
mysql> repair table cdb_uc_notelist;
输出为
+---------------------------+--------+----------+----------------------------------------------
-+
| Table | Op | Msg_type | Msg_text
|
+---------------------------+--------+----------+----------------------------------------------
-+
| uc_mumayi.cdb_uc_notelist | repair | info | Wrong bytesec: 101-114-110 at 258412; Skipped
|
| uc_mumayi.cdb_uc_notelist | repair | warning | Number of rows changed from 5715 to 5742 |
| uc_mumayi.cdb_uc_notelist | repair | status | OK
|
+---------------------------+--------+----------+----------------------------------------------
-+
(2)修复第2个表,方法同上。
(3)再次检查表状态。
(4)让管理员从后台登录,查看是否正常。
分享到:
相关推荐
### 实现多服务器负载均衡的关键知识点 #### 一、负载均衡技术概述 负载均衡是一种用于在多台计算机、网络链接、CPU、硬盘或其他资源中分配工作负载的技术,目的是优化资源使用、最大化吞吐量、最小化响应时间并...
Web服务器负载均衡是一种技术,用于在多台服务器之间分配网络流量,以确保任何单台服务器不会过载,从而保持服务的稳定性和可用性。这种方案是大型网站和高并发应用的关键组成部分,它能够提高系统性能,增强容错...
F5服务器负载均衡设置介绍 F5服务器负载均衡设置是指通过F5服务器对多个服务器进行负载均衡,以提高服务器的可用性和性能。下面是简单的服务器负载均衡设置介绍: 一、网络设置 在进行负载均衡设置之前,需要首先...
### 深信服服务器负载均衡方案核心知识点 #### 一、概述 深信服科技有限公司推出的服务器负载均衡解决方案旨在解决随着互联网应用的普及而带来的访问量和数据量激增问题,尤其是对于需要高可用性和稳定性的应用系统...
全面防护网络攻击服务器负载及安全解决方案 本解决方案旨在提供一种全面防护网络攻击服务器负载及安全解决方案,以确保企业关键业务应用的高可用性和安全性。该解决方案主要涉及到多链路负载均衡和服务器负载均衡两...
### Apache服务器负载均衡方案 #### 一、概述 在现代互联网应用中,随着访问量的增加,单一服务器往往难以承担高并发请求的压力。为了解决这一问题,采用负载均衡技术来分散请求到多个服务器上变得至关重要。...
【负载均衡】是一种网络技术,旨在优化网络服务的性能,通过将工作负载分散到多个服务器上,以防止过载并确保高可用性和响应速度。它能够有效地提高系统的整体效率,同时增强服务的可靠性和容错性。在标题“一键...
服务器负载是IT行业中一个至关重要的概念,特别是在大型网络服务、数据中心和云计算环境中。负载均衡作为应对服务器负载的主要策略,它的目标是确保系统资源的有效利用,提高服务可用性,并避免单点故障。 负载均衡...
Radware服务器负载均衡方案是一种先进的网络技术,旨在优化和稳定多服务器环境中的服务交付,确保高可用性和性能。这一方案的核心目标是通过智能地分配网络流量到多台服务器,达到资源的最大化利用,同时减少单点...
HP服务器负载均衡技术,尤其是针对多网卡的均衡负载,是一项关键的IT基础设施优化策略,旨在提高网络性能、增强容错能力和确保数据流的高效分配。以下是对HP服务器双网卡绑定过程及其重要性的深入解析。 ### HP...
服务器负载均衡测试方案 服务器负载均衡测试方案是确保服务器的高可用性和高性能的关键步骤。该方案旨在评估服务器的负载均衡设备的性能和功能,以确保服务器能够满足业务需求。下面是服务器负载均衡测试方案的详细...
网络服务器负载均衡是一种重要的技术,它旨在提高网络服务的可用性和响应速度,尤其是在高负载情况下。通过负载均衡,网络流量可以被有效地分散到多台服务器上,从而避免单点故障,增强系统的稳定性和可靠性。 1. *...
**网络设计服务器负载均衡** 服务器负载均衡是一种网络技术,用于分散网络流量,确保单个服务器不会过载,提高系统的可用性和响应速度。本教程主要介绍了几种常见的负载均衡方法。 1. **基于DNS的负载均衡** 基于...
服务器负载均衡技术是一种网络技术,用于在多台服务器之间分配网络流量,以提高系统的可用性和响应速度,同时防止单台服务器过载。本篇将详细讲解服务器负载均衡,并结合具体的示例,包括Tomcat集群配置和JVM适配,...
Apache服务器负载平衡是一种高效的方法,用于在多台服务器之间分散网络流量,以提高服务的可用性和响应速度。这种技术在大型网站和企业级应用中尤为关键,因为它能确保即使在高流量情况下,用户也能获得流畅的体验。...
### 分布式Web服务器中负载均衡的实现 #### 背景与挑战 随着互联网的飞速发展,Web服务的需求量急剧增加,这对传统的单一服务器架构提出了严峻的挑战。单单提高服务器性能已不足以应对日益增长的流量压力。因此,...