这是架构师的知识范畴吗: 网站莫名其妙很卡的案例分析

当网站莫名很卡的时候, 查故障可以考虑的事项:
判断内因, 外因, 是linux上面的问题, 还是我的应用问题, 常见nginx, java(tomcat, netty)

内因:
cpu, 进程数, 内存

外网
流量, 被攻击(cc, 与流量相关)


常用排查手段
一.内网方面
top查看系统状态
top -c




1.根据进程号进行查询：
# pstree -p 进程号
# top -Hp 进程号

2.根据进程名字进行查询：
# pstree -p `ps -e | grep server | awk '{print $1}'`
# pstree -p `ps -e | grep server | awk '{print $1}'` | wc -l

二.外网方面
通过命令, 查看ip与主机连接数, 150以内都正常, 超过就很可疑了
netstat -ntu | awk '{print $5}' | cut -d: -f1 | sort | uniq -c | sort -n
执行效果如果



通过nethogs查看进程, ip, 上行, 下行
nethogs eth1



通过iftop查看ip, 上行, 下行, 峰值, 某时段流量
iftop -i eth1

TX：发送流量
RX：接收流量
TOTAL：总流量
Cumm：运行iftop到目前时间的总流量
peak：流量峰值
rates：分别表示过去 2s 10s 40s 的平均流量




实例:网站很卡, 使用xshell登陆上去, 但很卡, top -c 很慢, 以为是系统原因, 但用xftp下载个几k的文件也关天不动, 就很可疑了, 怀疑是网络问题, 使用aliyun的管理控制台直接连接终端, 这个比xshell可靠, 速度很正常, 查看内存, 进程等指标, 很正常, 查看管理控制台的网络, 发现网络出行与入行曲线相差很大, 而且出行已达峰值, 定位到是网络问题, 带宽占满了, 如图



剩下就是排查到位是哪个程序占用带宽了, 通过ifconfig查看哪个网卡的流量大,
然后使用iftop和nethogs查看, 如图



看出nginx比较可疑, 199k一支独秀, 查看nginx日志, 发现异常:



其中 120.24.78.101这个访问长时期持续访问, 取样其中一秒分析:达到75次




再算下流量 20292*74*8=12175.2k, 正好吻合10Mbs的带宽上限
至止, 问题找到了, 就是这丫的在做cc攻击, 而且, 这丫的还是阿里云的IP(有黑幕?)



剩下就是黑白名单问题了, 可以在nginx上限制最大连接数, 也可以在iptables上做, 这个就不在这里说了

中间比较坑的地方:
1. 刚开始通过xshell连接, top -c, -m 响应很慢, 甚至无响应, xftp下载个配置文件都没响应, 以为是系统太繁忙, 往把所有tomcat都关掉, 重启服务器之类的错误方向去了, 结果是带宽问题, 验证: 用浏览通过阿里云的管制控制台连接终端, 速度很正常, 看来那个不走限量带宽, 其实通过top也可以看见系统状态很健康, 只是缺乏自信

2. 使用nethogs和iftop监控, 最大值才250kB, 换算成位也就1M多些, 怎么会占满10M带宽, 结果是这些控制的采样不够精确, 也许也是我对这些工具的理解不够, 可以再配合tcpdump来统计一段时长的流量倒推

3. 75个请求/秒, 10M的带宽输出, 阿里云没报攻击, 也许这够不上攻击的级别吧, 一般认知: 连接数要超过200以上才算, 所以也没往攻击方面想, 看来看到nginx单点流量太突出, 查日志才知晓

4. 阿里云的态势感知里"流量分析", 跟ECS实例的网络监控不一致, ECS网络监控表明已经满10Mb, 但态势感知的流量分析里, 我们3个实例的总流量也就1MB, 其中涉事的服务器才200k, 当然是由于采样和显示的样本太粗, 没有对涉事服务器单点采样


ps: 为什么这个案例回顾起来是如此的简单, 可这个整整花了我2天的时候啊, 实时, 在线, 当时那个压力和崩溃啊