cpu性能

首先介绍一下Linux kernel中的调度器(scheduler)，调度器负责调度系统中的两种资源，一是线程，二是中断。调度器给不同资源不同的优先级。从高到低为：
1. 硬件中断（Hardware Interrupts）--这些请求由硬件触发，比如磁盘已经完成了读写任务或是网卡受到了新的数据包。
2. 软件中断（Software Interrupts)--这里指的是维护内核运行的内核态软件中断。比如内核的时钟管理进程。
3. 实时进程（Real time threads)--实时进程比内核本身具备更高的优先级，它可以抢占内核的CPU时间片，在2.4内核是一个不可抢占的内核，里面不支持实时程序。
4. 内核进程（Kernel threads）--包括所以的内核程序。
5. 用户进程（User threads）-- 所有运行在用户态的进程。
关于CPU，有3个重要的概念：上下文切换（context switchs），运行队列（Run queue）和使用率（utilization）。
上下文切换：目前流行的CPU在同一时间内只能运行一个线程，超线程的处理器可以在同一时间运行多个线程（包括多核CPU），Linux内核会把多核的处理器当作多个单独的CPU来识别。一个标准的Linux内核何以支持运行50～50000个进程运行，对于普通的CPU，内核会调度和执行这些进程。每个进程都会分到CPU的时间片来运行，当一个进程用完时间片或者被更高优先级的进程抢占后，它会备份到CPU的运行队列中，同时其他进程在CPU上运行。这个进程切换的过程被称作上下文切换。过多的上下文切换会造成系统很大的开销。
运行队列：每个CPU都会维持一个运行队列，理想情况下，调度器会不断让队列中的进程运行。进程不是处在sleep状态就是run able状态。 如果CPU过载，就会出现调度器跟不上系统的要求，导致可运行的进程会填满队列。队列愈大，程序执行时间就愈长。“load”用来表示运行队列，用top命令我们可以看到CPU在1分钟，5分钟和15分钟内的运行队列的大小。这个值越大表明系统负荷越大。
CPU使用率：CPU使用率可分为一下几个部分：
User Time—执行用户进程的时间百分比；
System Time—执行内核进程和中断的时间百分比；
Wait IO—因为IO等待而使CPU处于idle状态的时间百分比；
Idle—CPU处于Idle状态的时间百分比。
关于时间片和动态优先级：
时间片对于CPU来说是很关键的参数，如果时间片太长，就会使系统的交互性能变差，用户感觉不到并行。如果太短，又会造成系统频繁的上下文切换，使性能下降。对于IO Bound的系统来讲并不需要太长的时间片，因为系统主要是IO操作；而对于CPU Bound的系统来说需要长的时间片以保持cache的有效性。
每一个进程启动的时候系统都会给出一个默认的优先级，但在运行过程中，系统会根据进程的运行状况不断调整优先级，内核会升高或降低进程的优先级（每次增加或降低5），判断标准是根据进程处于sleep状态的时间。IO Bound进程大部分时间在sleep状态，所以内核会调高它的优先级，CPU Bound进程会被内核惩罚降低优先级。因此，如果一个系统上既运行IO Bound进程，又运行CPU Bound进程，我们会发现，IO Bound进程的性能不会下降，而CPU Bound进程性能会不断下降。
我们运行一个CPU Bound的程序：cpu-hog。用ps命令可以看出它的优先级在不断下降。
term1# ./cpu-hog
term2# while :; do ps -eo pid,ni,pri,pcpu,comm | egrep 'hog|PRI'; sleep 1; done
PID NI PRI %CPU COMMAND
22855 0 20 84.5 cpu-hog
PID NI PRI %CPU COMMAND
22855 0 18 89.6 cpu-hog
PID NI PRI %CPU COMMAND
22855 0 15 92.2 cpu-hog
PID NI PRI %CPU COMMAND
22855 0 15 93.8 cpu-hog
我们运行find命令，是一个IO Bound的程序，可以观察到它的优先级不断提高。
term1# find /
term2# while :; do ps -eo pid,ni,pri,pcpu,comm | egrep 'find|PRI';sleep 1; done
PID NI PRI %CPU COMMAND
23101 0 20 0.0 find
PID NI PRI %CPU COMMAND
23101 0 21 4.0 find
PID NI PRI %CPU COMMAND
23101 0 23 3.5 find
PID NI PRI %CPU COMMAND
23101 0 23 4.3 find
PID NI PRI %CPU COMMAND
23101 0 23 4.2 find
PID NI PRI %CPU COMMAND
23101 0 23 4.4 find
如果同时运行2个程序就可看出明显的变化
# while :; do ps -eo pid,ni,pri,pcpu,comm | egrep 'find|hog';sleep 1; done
PID NI PRI %CPU COMMAND
23675 0 20 70.9 cpu-hog
23676 0 20 5.6 find
23675 0 20 69.9 cpu-hog
23676 0 21 5.6 find
23675 0 20 70.6 cpu-hog
23676 0 23 5.8 find
23675 0 19 71.2 cpu-hog
23676 0 23 6.0 find
23675 0 19 71.8 cpu-hog
23676 0 23 6.1 find
23675 0 18 72.8 cpu-hog
23676 0 23 6.2 find
23675 0 16 73.2 cpu-hog
23676 0 23 6.6 find
23675 0 14 73.9 cpu-hog
正如我们之前讨论的任何系统的性能比较都是基于基线的，并且监控CPU的性能就是以上3点，运行队列、CPU使用率和上下文切换。以下是一些对于CPU很普遍的性能要求：
1. 对于每一个CPU来说运行队列不要超过3，如果是双核CPU就不要超过6；
2. 如果CPU在满负荷运行，应该符合下列分布，
a) User Time：65%～70%
b) System Time：30%～35%
c) Idle：0%～5%
3. 对于上下文切换要结合CPU使用率来看，如果CPU使用满足上述分布，大量的上下文切换也是可以接受的。
常用的监视工具有，vmstat, top,dstat和mpstat.
# vmstat 1
procs -----------memory---------- ---swap-- -----io---- --system-- ----cpu----
r b swpd free buff cache si so bi bo in cs us sy id wa
0 0 104300 16800 95328 72200 0 0 5 26 7 14 4 1 95 0
0 0 104300 16800 95328 72200 0 0 0 24 1021 64 1 1 98 0
0 0 104300 16800 95328 72200 0 0 0 0 1009 59 1 1 98 0
r表示运行队列的大小，
b表示由于IO等待而block的线程数量，
in表示中断的数量，
cs表示上下文切换的数量，
us表示用户CPU时间，
sys表示系统CPU时间，
wa表示由于IO等待而是CPU处于idle状态的时间，
id表示CPU处于idle状态的总时间。
dstat可以给出每一个设备产生的中断数：
# dstat -cip 1
----total-cpu-usage---- ----interrupts--- ---procs---
usr sys idl wai hiq siq| 15 169 185 |run blk new
6    1    91    2    0   0| 12    0 13 | 0 0 0
1    0    99    0    0   0| 0     0 6   | 0 0 0
0    0    100   0    0   0| 18    0 2   | 0 0 0
0    0    100   0    0   0| 0     0 3   | 0 0 0
我们可以看到这里有3个设备号15，169和185.设备名和设备号的关系我们可以参考文件/proc/interrupts, 这里185代表网卡eth1.
# cat /proc/interrupts
CPU0
0: 1277238713 IO-APIC-edge timer
6: 5 IO-APIC-edge floppy
7: 0 IO-APIC-edge parport0
8: 1 IO-APIC-edge rtc
9: 1 IO-APIC-level acpi
14: 6011913 IO-APIC-edge ide0
15: 15761438 IO-APIC-edge ide1
169: 26 IO-APIC-level Intel 82801BA-ICH2
185: 16785489 IO-APIC-level eth1
193: 0 IO-APIC-level uhci_hcd:usb1
mpstat可以显示每个CPU的运行状况，比如系统有4个CPU。我们可以看到：
# mpstat –P ALL 1
Linux 2.4.21-20.ELsmp (localhost.localdomain) 05/23/2006
05:17:31 PM CPU %user %nice %system %idle intr/s
05:17:32 PM all 0.00 0.00 3.19 96.53 13.27
05:17:32 PM 0 0.00 0.00 0.00 100.00 0.00
05:17:32 PM 1 1.12 0.00 12.73 86.15 13.27
05:17:32 PM 2 0.00 0.00 0.00 100.00 0.00
05:17:32 PM 3 0.00 0.00 0.00 100.00 0.00

总结的说，CPU性能监控包含以下方面：
检查系统的运行队列，确保每一个CPU的运行队列不大于3。
确保CPU使用分布满足70/30原则（用户70%，系统30%）。
如果系统时间过长，可能是因为频繁的调度和改变优先级。
CPU Bound进程总是会被惩罚（降低优先级）而IO Bound进程总会被奖励（提高优先级）。