运维开发网

Linux 系统性能分析之CPU平均负载

运维开发网 https://www.qedev.com 2020-06-22 12:25 出处:51CTO 作者:入九天
注:不管能否解决你遇到的问题,欢迎交流,共同提高, QQ:931389630!1、平均负载System load averages is the average number of processes that are either in a runnable or uninterruptable state. A process in a runnable state is either usi

注:不管能否解决你遇到的问题,欢迎交流,共同提高, QQ:931389630!

1、平均负载

System load averages is the average number of processes that are either in a runnable or uninterruptable state.

A process in a runnable state is either using the CPU or waiting to use the CPU.

A process in uninterruptable state is waiting for some I/O access, eg waiting for disk.

The averages are taken over the three time intervals. Load averages are not normalized for the number of CPUs in a system, so a load average of 1 means a single CPU system is loaded all the time while on a 4 CPU system it means it was idle 75% of the time.   

平均负载最理想的情况是等于CPU个数。

查看CPU个数:

cat /proc/cpuinfo |grep "model name"|wc -l

cat /proc/cpuinfo |grep "processor"|wc -l

在实际生产环境中,以我看来,当平均负载高于 CPU 数量70%的时候,就应该分析排查负载高的问题了。一旦负载过高,就可能导致进程响应变慢,进而影响服务的正常功能。但70%这个数字并不是绝对的,最推荐的方法,还是把系统的平均负载监控起来,然后根据更多的历史数据,判断负载的变化趋势。当发现负载有明显升高趋势时,比如说负载翻倍了,你再去做分析和调查。

机器提前准备安装好stress和sysstat

场景一:CPU密集型进程

首先第一个终端,用stress模拟一个CPU使用率为100%的场景

stress --cpu 1 --timeout 60

然后在第二个终端,用uptime查看平均负载的变化情况(-d 参数表示高亮显示变化的区域)

watch -d uptime  

其次在第三个终端,用mpstat查看CPU使用率的变化情况(-P ALL 表示监控所有CPU,后面2表示2秒后输出,共输出3次)

[email protected]:~# mpstat -P ALL 2 3

Linux 4.18.0-12-generic (andy)  2020年05月17日  _x86_64_        (4 CPU)

......................................

14时51分50秒  CPU    %usr   %nice    %sys %iowait    %irq   %soft  %steal  %guest  %gnice   %idle

14时51分52秒  all   24.97    0.00    0.12    0.00    0.00    0.12    0.00    0.00    0.00   74.78

14时51分52秒    0    0.00    0.00    0.00    0.00    0.00    0.00    0.00    0.00    0.00  100.00

14时51分52秒    1    0.00    0.00    0.00    0.00    0.00    0.00    0.00    0.00    0.00  100.00

14时51分52秒    2  100.00    0.00    0.00    0.00    0.00    0.00    0.00    0.00    0.00    0.00

14时51分52秒    3    0.00    0.00    0.00    0.00    0.00    0.00    0.00    0.00    0.00  100.00

..........................................

平均时间:  CPU    %usr   %nice    %sys %iowait    %irq   %soft  %steal  %guest  %gnice   %idle

平均时间:  all   25.05    0.00    0.29    0.00    0.00    0.25    0.00    0.00    0.00   74.41

平均时间:    0    0.00    0.00    0.34    0.00    0.00    0.34    0.00    0.00    0.00   99.33

平均时间:    1    0.00    0.00    0.17    0.00    0.00    0.50    0.00    0.00    0.00   99.33

平均时间:    2  100.00    0.00    0.00    0.00    0.00    0.00    0.00    0.00    0.00    0.00

平均时间:    3    0.00    0.00    0.33    0.00    0.00    0.17    0.00    0.00    0.00   99.50

从终端二可以看到1分钟平均负载会慢慢增加到1.00,从终端三可以看到,有一个CPU的使用率为100%,其idle为0,iowait为0,。这说明平均负载的升高是由于CPU使用率为100%,下面使用pidstat来查看哪个进程导致的:

[email protected]:~# pidstat  -u 2 3

Linux 4.18.0-12-generic (andy)  2020年05月17日  _x86_64_        (4 CPU)

.................................................

15时15分50秒   UID       PID    %usr %system  %guest   %wait    %CPU   CPU  Command

15时15分52秒     0      2890    0.00    0.50    0.00    0.00    0.50     3  sshd

15时15分52秒     0      4730    0.00    0.50    0.00    0.00    0.50     1  kworker/1:1-mm_percpu_wq

15时15分52秒     0      6489   99.50    0.00    0.00    0.00   99.50     2  stress

15时15分52秒     0      6523    0.50    0.00    0.00    0.00    0.50     0  pidstat

..................................................

平均时间:   UID       PID    %usr %system  %guest   %wait    %CPU   CPU  Command

平均时间:     0      2890    0.00    0.10    0.00    0.00    0.10     -  sshd

平均时间:     0      4730    0.00    0.10    0.00    0.00    0.10     -  kworker/1:1-events

平均时间:     0        6445     0.00     0.10     0.00      0.00     0.10     -  kworker/u256:1-events_freezable_power_

平均时间:     0      6489   99.80    0.00    0.00    0.00   99.80     -  stress

平均时间:     0      6523    0.30    0.60    0.00    0.00    0.90     -  pidstat

可以看出stress进程的CPU使用率接近100%

场景二:IO密集型进程

首先第一个终端用stress模拟IO压力,即不停的执行sync:

stress -i 1 --timeout 60

然后在第二个终端,用uptime查看平均负载的变化情况(-d 参数表示高亮显示变化的区域)

watch -d uptime  

其次在第三个终端,用mpstat查看CPU使用率的变化情况(-P ALL 表示监控所有CPU,后面2表示2秒后输出,共输出3次)

[email protected]:~# mpstat -P ALL 2 3

Linux 4.18.0-12-generic (andy)  2020年05月17日  _x86_64_        (4 CPU)

.........................

16时47分09秒  CPU    %usr   %nice    %sys %iowait    %irq   %soft  %steal  %guest  %gnice   %idle

16时47分11秒  all    0.75    0.00   24.62    0.00    0.00    0.12    0.00    0.00    0.00   74.50

16时47分11秒    0    1.00    0.00    0.00    0.00    0.00    0.50    0.00    0.00    0.00   98.51

16时47分11秒    1    2.00    0.00   98.00    0.00    0.00    0.00    0.00    0.00    0.00    0.00

16时47分11秒    2    0.00    0.00    0.50    0.00    0.00    0.00    0.00    0.00    0.00   99.50

16时47分11秒    3    0.00    0.00    0.00    0.00    0.00    0.00    0.00    0.00    0.00  100.00

.............................

平均时间:  CPU    %usr   %nice    %sys %iowait    %irq   %soft  %steal  %guest  %gnice   %idle

平均时间:  all    0.71    0.00   24.55    0.00    0.00    1.29    0.00    0.00    0.00   73.45

平均时间:    0    0.33    0.00    0.83    0.00    0.00    0.17    0.00    0.00    0.00   98.66

平均时间:    1    2.34    0.00   97.66    0.00    0.00    0.00    0.00    0.00    0.00    0.00

平均时间:    2    0.00    0.00    0.34    0.00    0.00    0.00    0.00    0.00    0.00   99.66

平均时间:    3    0.00    0.00    0.00    0.00    0.00    4.85    0.00    0.00    0.00   95.15

用pidstat查看哪个进程导致负载升高

[email protected]:~# pidstat -u 2 3

Linux 4.18.0-12-generic (andy)  2020年05月17日  _x86_64_        (4 CPU)

...............

16时48分12秒   UID       PID    %usr %system  %guest   %wait    %CPU   CPU  Command

16时48分14秒     0      3196    0.00    1.50    0.00    0.00    1.50     0  kworker/0:3-events

16时48分14秒     0      3405    0.00    1.50    0.00    0.00    1.50     2  kworker/2:2-mpt_poll_0

16时48分14秒     0     14984    2.00   98.00    0.00    0.00  100.00     1  stress

16时48分14秒     0     15000    0.00    1.00    0.00    0.00    1.00     2  pidstat

.........................

平均时间:   UID       PID    %usr %system  %guest   %wait    %CPU   CPU  Command

平均时间:   125      1439    0.00    0.17    0.00    0.00    0.17     -  mysqld

平均时间:   123      1714    0.33    0.00    0.00    0.00    0.33     -  gnome-shell

平均时间:     0      3196    0.00    0.50    0.00    0.00    0.50     -  kworker/0:3-events

平均时间:     0      3405    0.00    0.50    0.00    0.00    0.50     -  kworker/2:2-mpt_poll_0

平均时间:     0      5895    0.00    0.17    0.00    0.00    0.17     -  watch

平均时间:     0     14984    1.32   98.34    0.00    0.00   99.67     -  stress

平均时间:     0     15000    0.00    0.99    0.00    0.00    0.99     -  pidstat

综合来看还是CPU的问题。

场景三:多进程的场景

当系统中运行的进程超过CPU运行能力时,就会出现等待CPU的进程

stress -c 6 --timeout 60

然后在第二个终端,用uptime查看平均负载的变化情况(-d 参数表示高亮显示变化的区域)

系统有4个CPU,因此系统的CPU处于过载状态,平均负载高达6.03

watch -d uptime  

16:57:41 up  3:02,  3 users,  load average: 6.03, 3.05, 1.32

其次在第三个终端,用mpstat查看CPU使用率的变化情况(-P ALL 表示监控所有CPU,后面2表示2秒后输出,共输出3次)

[email protected]:~# mpstat -P ALL 2 3

Linux 4.18.0-12-generic (andy)  2020年05月17日  _x86_64_        (4 CPU)

..........................

17时00分45秒  CPU    %usr   %nice    %sys %iowait    %irq   %soft  %steal  %guest  %gnice   %idle

17时00分47秒  all   99.75    0.00    0.13    0.00    0.00    0.13    0.00    0.00    0.00    0.00

17时00分47秒    0  100.00    0.00    0.00    0.00    0.00    0.00    0.00    0.00    0.00    0.00

17时00分47秒    1   99.49    0.00    0.00    0.00    0.00    0.51    0.00    0.00    0.00    0.00

17时00分47秒    2  100.00    0.00    0.00    0.00    0.00    0.00    0.00    0.00    0.00    0.00

17时00分47秒    3   98.98    0.00    1.02    0.00    0.00    0.00    0.00    0.00    0.00    0.00

....................

平均时间:  CPU    %usr   %nice    %sys %iowait    %irq   %soft  %steal  %guest  %gnice   %idle

平均时间:  all   99.66    0.00    0.30    0.00    0.00    0.04    0.00    0.00    0.00    0.00

平均时间:    0  100.00    0.00    0.00    0.00    0.00    0.00    0.00    0.00    0.00    0.00

平均时间:    1   99.48    0.00    0.34    0.00    0.00    0.17    0.00    0.00    0.00    0.00

平均时间:    2   99.67    0.00    0.33    0.00    0.00    0.00    0.00    0.00    0.00    0.00

平均时间:    3   99.32    0.00    0.68    0.00    0.00    0.00    0.00    0.00    0.00    0.00

明显看出stress线程等待CPU的使用

[email protected]:~# pidstat -u 2 3    

Linux 4.18.0-12-generic (andy)  2020年05月17日  _x86_64_        (4 CPU)

..................

17时02分33秒   UID       PID    %usr %system  %guest   %wait    %CPU   CPU  Command

17时02分35秒     0      2890    0.00    0.50    0.00    0.00    0.50     1  sshd

17时02分35秒     0     15605   59.50    0.00    0.00   40.50   59.50     2  stress

17时02分35秒     0     15606   66.00    0.00    0.00   34.00   66.00     1  stress

17时02分35秒     0     15607   67.00    0.50    0.00   33.00   67.50     0  stress

17时02分35秒     0     15608   67.00    0.00    0.00   33.00   67.00     3  stress

17时02分35秒     0     15609   71.00    0.00    0.00   29.50   71.00     2  stress

17时02分35秒     0     15610   66.00    0.50    0.00   34.50   66.50     1  stress

17时02分35秒     0     16325    0.50    2.50    0.00    0.50    3.00     2  pidstat

......................

平均时间:   UID       PID    %usr %system  %guest   %wait    %CPU   CPU  Command

平均时间:     0      2890    0.00    0.16    0.00    0.00    0.16     -  sshd

平均时间:     0      5895    0.00    0.16    0.00    0.00    0.16     -  watch

平均时间:     0     15296    0.00    0.16    0.00    0.33    0.16     -  kworker/u256:1-events_unbound

平均时间:     0     15605   61.12    0.00    0.00   38.55   61.12     -  stress

平均时间:     0     15606   66.56    0.16    0.00   33.28   66.72     -  stress

平均时间:     0     15607   69.19    0.16    0.00   30.48   69.36     -  stress

平均时间:     0     15608   67.22    0.16    0.00   32.29   67.38     -  stress

平均时间:     0     15609   68.04    0.00    0.00   31.96   68.04     -  stress

平均时间:     0     15610   62.60    0.16    0.00   37.73   62.77     -  stress

平均时间:     0     16325    0.33    2.47    0.00    0.49    2.80     -  pidstat

小结:

平均负载能快速查看系统整体性能,反映了整体的负载情况。但只看平均负载本身,并不能直接发现,到底是哪里出现了瓶颈。所以,在理解平均负载时,要注意

1、平均负载高有可能是CPU密集型进程导致的

2、平均负载高不一定代表CPU使用率高,还有可能是IO繁忙导致

3、当平均负载较高时,可以使用mpstat、pidstat等工具,辅助分析负载的来源。

0

精彩评论

暂无评论...
验证码 换一张
取 消