Linux性能优化（五）——性能监控工具

一、性能分析工具简介

Brendan Gregg是算机性能设计、分析和调优专家，编写开源大量性能测试工具。

http://www.brendangregg.com

1、性能分析工具

2、性能观测工具

3、性能测评工具

4、性能调优工具

二、常用工具

1、free

free指令会显示内存的使用情况，包括实体内存、虚拟的交换文件内存、共享内存区段以及系统核心使用的缓冲区等。

free [-bkmotV][-s <间隔秒数>]

-b 　以Byte为单位显示内存使用情况。

-k 　以KB为单位显示内存使用情况。

-m 　以MB为单位显示内存使用情况。

-h 　以合适的单位显示内存使用情况，最大为三位数，自动计算对应的单位值。单位有：

-o 　不显示缓冲区调节列。

-s<间隔秒数> 　持续观察内存使用状况。

-t 　显示内存总和列。

-V 　显示版本信息。

free -h

total：表示计物理内存的大小，used+free+buff/cache。

used：表示已使用多少。

free：表示可用内存多少。

Shared：表示多个进程共享的内存总额。

buffer/cache：表示磁盘缓存的大小。buffer cache比较小，即缓存经常访问块设备的元数据；cache比较大，page cache，即缓存文件内容+slab。

available: 剩余可用内存。

2、top

top命令的汇总区域显示了五个方面的系统性能信息：

（1）负载：时间，登陆用户数，系统平均负载；

（2）进程：运行，睡眠，停止，僵尸；

（3）CPU：用户态，核心态，NICE，空闲，等待IO，中断等；

（4）内存：总量，已用，空闲（系统角度），缓冲，缓存；

（5）交换分区：总量，已用，空闲；

任务区域默认显示：进程ID，有效用户，进程优先级，NICE值，进程使用的虚拟内存，物理内存和共享内存，进程状态，CPU占用率，内存占用率，累计CPU时间，进程命令行信息。

3、ps

ps命令是Process Status缩写，用来查看系统中当前运行的进程。

a：显示所有进程

-a：显示同一终端下的所有程序

-A：显示所有进程

c：显示进程的真实名称

-N：反向选择

-e：等于“-A”

e：显示环境变量

f：显示程序间的关系

-H：显示树状结构

r：显示当前终端的进程

T：显示当前终端的所有程序

u：指定用户的所有进程

ps  aux | grep mysqld | grep –v grep | awk ‘{print $2 }’ xargs kill -9

杀掉应用程序

ps –eal | awk ‘{if ($2 == “Z”){print $4}}’ | xargs kill -9

杀掉僵尸进程

ps -ef

显示所有进程，包括命令行

ps aux

列出目前正在内存当中的程序

ps -u username

查看特定用户的进程

ps -aux --sort -pcpu | less

根据CPU使用升序排序

ps -aux --sort -pmem | less

根据内存使用升序排序

ps -L pid

查看指定进程的线程

ps -axjf

树形结构显示进程

ps -eo pid,user,args

查看登录服务器的进程

watch -n 1 'ps -aux --sort -pmem,-pcpu'

实时监控进程状态

4、strace

strace常用来跟踪进程执行时的系统调用和所接收的信号。在Linux中，进程不能直接访问硬件设备，当进程需要访问硬件设备(比如读取磁盘文件，接收网络数据等等)时，必须由用户态模式切换至内核态模式，通过系统调用访问硬件设备。strace可以跟踪到一个进程产生的系统调用，包括参数、返回值、执行消耗的时间。

strace -c[df] [-In] [-bexecve] [-eexpr]... [-Ooverhead] [-Ssortby] -ppid... / [-D] [-Evar[=val]]... [-uusername] command [args]

-c：统计每一系统调用的所执行的时间、次数和出错的次数等。

-d：输出strace关于标准错误的调试信息

-f：跟踪由fork调用所产生的子进程

-ff：如果提供-o filename，则所有进程的跟踪结果输出到相应的filename.pid中，pid是各进程的进程号。

-F：尝试跟踪vfork调用，-f时vfork不被跟踪。

-h：输出简要的帮助信息。

-i：输出系统调用的入口指针。

-q：禁止输出关于脱离的消息。

-r：打印出相对时间关于,,每一个系统调用.

-t：在输出中每一行前加上时间信息。

-tt：在输出中的每一行前加上时间信息，微秒级。

-ttt：微秒级输出，以秒显示时间。

-T：显示每一调用所耗的时间，以秒为单位。

-v：输出所有的系统调用。

-V：输出strace的版本信息。

-x：以十六进制形式输出非标准字符串

-xx：所有字符串以十六进制形式输出.

-a column：设置返回值的输出位置，默认为40。

-e expr：指定一个表达式，用来控制如何跟踪。格式如下:

[qualifier=][!]value1[,value2]...

qualifier可选值为trace、abbrev、verbose、raw、signal、read、write，value是用来限定的符号或数字，默认qualifier是 trace，感叹号是否定符号，例如:

-eopen等价于-e trace=open，表示只跟踪open调用，而-etrace!=open表示跟踪除open外的其它调用。

-e trace=open,close,rean,write表示只跟踪四个系统调用，默认set=all。

-e trace=file 只跟踪有关文件操作的系统调用。

-e trace=process只跟踪有关进程控制的系统调用。

-e trace=network跟踪与网络有关的所有系统调用。

-e strace=signal跟踪所有与系统信号有关的系统调用。

-e trace=ipc跟踪所有与进程通讯有关的系统调用。

-e abbrev=set设定strace输出的系统调用的结果集。

-e raw=set将指定的系统调用的参数以十六进制显示。

-e signal=set指定跟踪的系统信号，默认为all，如 signal=!SIGIO表示不跟踪SIGIO信号。

-e read=set输出从指定文件中读出数据。

-o filename：将strace的输出写入文件filename。

-p pid：跟踪指定的进程pid。

-s strsize：指定输出的字符串的最大长度，默认为32，文件名一直全部输出.

-u username：以username 的UID和GID执行被跟踪的命令

strace -p pid

追踪已经存在的进程

strace command args

追踪应用启动过程

5、df

 df（disk free）命令用于显示linux系统上的文件系统磁盘使用情况统计。

df [选项]... [FILE]...

-a, --all：包含所有文件系统

--block-size={SIZE}：使用SIZE大小的Blocks

-h, --human-readable：可读格式

-H, --si：1000为单位显示

-i, --inodes：列出 inode 资讯，不列出已使用 block

-k, --kilobytes：--block-size=1024

-l, --local：限制列出的文件结构

-m, --megabytes：--block-size=1048576

--no-sync：显示信息前不sync，默认设置

-P, --portability：使用POSIX输出格式

--sync：先sync再显示信息

-t, --type=TYPE：限制列出文件系统的TYPE

-T, --print-type：显示文件系统的形式

-x, --exclude-type=TYPE：限制列出文件系统不要显示TYPE

--help：打印帮助信息

--version：打印版本

6、du

du（disk usage）命令用于显示目录或文件所占用的磁盘空间。

du [-abcDhHklmsSx][-X文件][--block-size][--exclude=目录或文件][--max-depth=目录层数][--help][--version][目录或文件] [-L 链接符号]

-a或-all：显示目录和文件的大小。

-b或-bytes：显示目录或文件大小时，以byte为单位。

-c或--total：显示目录或文件的大小以及大小总和。

-D或--dereference-args：显示指定符号链接的源文件大小。

-h或--human-readable：以K，M，G为单位，提高信息的可读性。

-H或--si：K，M，G是以1000为换算单位。

-k或--kilobytes：以1024 bytes为单位。

-l或--count-links：重复计算硬件连接的文件。

-L<符号连接>或--dereference<符号连接>：显示选项中所指定符号连接的源文件大小。

-m或--megabytes：以1MB为单位。

-s或--summarize：仅显示总计。

-S或--separate-dirs：显示目录的大小时，不含其子目录的大小。

-x或--one-file-xystem：以开始处理时的文件系统为准，若遇上其它文件系统目录则略过。

-X<文件>或--exclude-from=<文件>：在<文件>指定目录或文件。

--exclude=<目录或文件>：略过指定的目录或文件。

--max-depth=<目录层数>：超过指定层数的目录后，予以忽略。

--help：显示帮助。

--version：显示版本信息。

三、dstat

1、dstat简介

dstat是一个全能系统信息统计工具，提供vmstat、iostat、netstat、nfsstat、ifstat等命令工具类似功能。dstat拥有彩色界面并支持即时刷新。

dstat提供的下列状态的性能监控：

（1）CPU状态：CPU使用率，显示用户、内核、空闲、等待、硬中断、软中断。

（2）磁盘统计：磁盘读写，显示磁盘的读、写总数。

（3）网络统计：网络设备发送和接收的数据，显示的网络收、发数据总数。

（4）分页统计：系统的分页活动。显示in（换入）和out（换出）。

（5）系统统计：显示中断（int）和上下文切换（csw）。

dstat安装：

yum install dstat

2、dstat命令格式

dstat [-afv] [options..] [delay [count]]

-c, --cpu：显示CPU使用情况

-C 0,3,total：统计指定CPU或汇总信息

-d, --disk：显示磁盘使用情况

-D total,hda：统计指定磁盘或汇总信息

-g, --page：显示分页情况

-i, --int：显示中断统计

-I 5,eth2：显示平均负载情况，包括1分钟、5分钟、15分钟平均值

-l, --load：开启平均负载统计

-m, --mem：显示内存使用情况

-n, --net：显示网络信息

-N eth1,total：指定网络接口

-p, --proc：统计进程信息，包括runnable、uninterruptible、new

-r, --io：统计I/O请求，包括读写请求

-s, --swap：显示swap使用情况

-S swap1,total：可以指定多个swap

-t, --time：显示统计时时间，对分析历史数据非常有用

-y, --sys：统计系统信息，包括中断、上下文切换

--ipc：显示IPC使用情况，消息队列、信号量、共享内存

--lock：统计lock信息

--raw：统计raw信息

--tcp：统计tcp信息

--udp：统计udp信息

--unix：统计unix信息

-M stat1,stat2：统计external信息

-a, --all：等同于-cdngy

-f, --full：等同于-C -D -I -N -S

-v, --vmstat：等同于-pmgdsc -D

--integer：强制输出整型值，默认

--nocolor：禁用颜色功能

--noheaders：禁止重复输出header，默认打印依次屏幕输出一次header

--noupdate：当delay大于1时，禁止在时间间隔内更新

--output file：输出状态信息到CVS文件

--aio：开启同步IO统计

3、dstat插件简介

dstat通过插件方式提供灵活可扩展的功能，dstat --list可以查看dstat支持的所有参数，internal是dstat自带的监控参数，/usr/share/dstat是dstat支持的插件，这些插件可以扩展dstat的功能，如可以监控电源（battery）、mysql等。 

但插件并不是都可以直接使用，部分插件还依赖其它python包支持，如想监控mysql，必须要装python连接mysql的一些包。

4、dstat插件命令

--battery：电池电池百分比(需要ACPI)

--battery-remain：电池剩余小时、分钟(需要ACPI)

--cpufreq：CPU频率百分比(需要ACPI)

--dbus：dbus连接的数量(需要python-dbus)

--disk-util：显示某一时间磁盘的忙碌状况

--fan：风扇转速(需要ACPI)

--freespace：每个文件系统的磁盘使用情况

--gpfs：gpfs读/写 I / O(需要mmpmon)

--gpfs-ops：GPFS文件系统操作(需要mmpmon)

--helloworld：dstat插件Hello world示例

--innodb-buffer：显示innodb缓冲区统计

--innodb-io：显示innodb I / O统计数据

--innodb-ops：显示innodb操作计数器

--lustre：显示lustreI / O吞吐量

--memcache-hits：显示memcache 的命中和未命中的数量

--mysql5-cmds：显示MySQL5命令统计

--mysql5-conn：显示MySQL5连接统计

--mysql5-io：MySQL5 I / O统计数据

--mysql5-keys：显示MySQL5关键字统计

--mysql-io：显示MySQL I / O统计数据

--mysql-keys：显示MySQL关键字统计

--net-packets：显示接收和发送的数据包的数量

--nfs3：显示NFS v3客户端操作

--nfs3-ops：显示扩展NFS v3客户端操作

--nfsd3：显示NFS v3服务器操作

--nfsd3-ops：显示扩展NFS v3服务器操作

--ntp：显示NTP服务器的ntp时间

--postfix：显示后缀队列大小(需要后缀)

--power：显示电源使用量

--proc-count：显示进程的总数

--rpc：显示rpc客户端调用统计

--rpcd：显示RPC服务器调用统计

--sendmail：显示sendmail队列大小(需要sendmail)

--snooze：显示每秒运算次数

--test：显示插件输出

--thermal：热系统的温度传感器

--top-bio：显示消耗块IO最大的进程

--top-cpu：显示消耗CPU最大的进程

--top-cputime：显示使用CPU时间最大的进程(单位ms)

--top-cputime-avg：显示使用CPU时间平均最大的进程(单位ms)

--top-io：显示消耗I/O最大进程

--top-latency：显示总延迟最大的进程(单位ms)

--top-latency-avg：显示平均延时最大的进程(单位ms)

--top-mem：显示使用内存最大的进程

--top-oom：显示第一个被OOM结束的进程

--utmp：显示utmp连接的数量(需要python-utmp)

--vmk-hba：显示VMware ESX内核vmhba统计数

--vmk-int：显示VMware ESX内核中断数据

--vmk-nic：显示VMware ESX内核端口统计

--vz-io：显示每个OpenVZ请求CPU使用率

--vz-ubc：显示OpenVZ用户统计

--wifi：无线连接质量和信号噪声比

--disk-util：显示某一时间磁盘的忙碌状况

--freespace：显示当前磁盘空间使用率

--proc-count：显示正在运行的程序数量

--top-bio：示块IO最大的进程

--top-cpu：显示CPU占用最大的进程

--top-io：显示正常IO最大的进程

--top-mem：显示占用最多内存的进程

5、dstat常用命令

（1）CPU使用情况查看

查看CPU使用情况，执行命令dstat -c。显示各个信息为CPU用户占用，系统占用，空闲，等待，中断，软件中断等信息。

dstat -c

（2）磁盘使用情况查看

dstat -d

（3）网络状态查看

dstat -n

（4）内存使用信息查看

dstat -m

（5）系统平均负载查看

dstat -l

（6）IO使用情况查看

dstat -r

（7）TCP、UDP查看

dstat --tcp --udp -t -c 3

四、iotop

1、iotop简介

iotop是一个用来监视磁盘IO使用状况的top类工具，可监测进程使用的磁盘IO的信息（requires 2.6.20 or later）。

iotop 监控Linux内核输出的IO使用信息，并且显示一个系统中进程或线程的当前IO使用情况。

yum -y install iotop

2、iotop命令

iotop [OPTIONS]

--version：显示版本号

-h, --help：显示帮助信息

-o, --only：仅显示正在产生IO操作的进程或者线程，可以随时按o切换。

-b, --batch：运行在非交互式的模式

-n NUM, --iter=NUM：在非交互式模式下，设置显示次数，

-d SEC, --delay=SEC：设置显示的间隔秒数，支持非整数值

-p PID, --pid=PID：只显示指定PID的信息

-u USER, --user=USER：显示指定用户的进程信息

-P, --processes：只显示进程，一般为显示所有的线程

-a, --accumulated：显示从iotop启动后每个线程完成了的IO总数

-k, --kilobytes：以KB显示

-t, --time：在每一行前添加一个当前的时间

3、iotop快捷键

r：反向排序，

o：切换至选项--only，

p：切换至--processes选项，

a：切换至--accumulated选项

q：退出 

i：改变线程的优先级

4、iotop常用命令

iotop

第一行表示进程的磁盘读写大小总数。

第二行表示磁盘真实的读写大小总数。由于缓存、缓冲区、IO合并等因素的影响，可能并不相等于进程的磁盘读写大小总数。

进程部分，从各个角度来分别表示进程的IO情况，包括线程ID、IO 优先级、每秒读磁盘的大小、每秒写磁盘的大小、换入和等待IO的时钟百分比等。

iotop -b -o -n 2 -d 5 -t

使用非交互模式将iotop命令输出信息写入日志。

五、blktrace

1、blktrace简介

blktrace是一个针对Linux内核中块设备IO层的跟踪工具，用来收集磁盘IO信息中当IO进行到块设备层（block）时的详细信息（如IO请求提交、入队、合并、完成等信息），是由Linux内核块设备层的维护者开发的，目前已经集成到内核2.6.17及其后内核版本中。blktrace可以获取IO请求队列的各种详细的情况，包括进行读写的进程名称、进程号、执行时间、读写的物理块号、块大小等。

2、blktrace安装

在线安装：

yum install blktrace

3、blktrace工作原理

（1）blktrace测试时会分配物理机上逻辑CPU数量个线程，并且每一个线程绑定一个逻辑CPU来收集数据。

（2）blktrace在debugfs挂载的路径（默认/sys/kernel/debug）下每个线程产生一个文件，然后调用ioctl函数，通过系统调用交由内核处理，由内核经由debugfs文件系统往文件描述符写入数据。

（3）blktrace需要结合blkparse使用，由blkparse来解析blktrace产生的特定格式的二进制数据。

（4）blkparse仅打开blktrace产生的文件，从文件里面取数据进行解析展示。

4、blktrace命令

blktrace -d dev [ -r debugfs_path ] [ -o output ] [ -w time ] [ -a action ] [ -A action_mask ] [ -v ]

-A hex-mask：设置过滤信息mask成十六进制mask

-a mask：添加mask到当前的过滤器

-b size：指定缓存大小for提取的结果，默认为512KB

-d dev：添加一个设备追踪

-I file：增加文件的设备到追踪

-k：杀掉正在运行的追踪进程

-n num-sub：指定缓冲池大小，默认为4个子缓冲区

-o file：指定输出文件的名字

-r rel-path：指定的debugfs挂载点

-V：打印版本号

-w seconds：设置运行的时间

sudo blktrace -d /dev/sda -o test1

5、blkparse

blkparse是分析和展示blktrace采集数据的工具。

blktrace -d /dev/sda -o - | blkparse -i -

将blktrace结果输出到屏幕，然后blkparse将屏幕中的blktrace结果作为分析的输入，最后将分析的结果输出到屏幕。

blktrace -d /dev/sda |blkparse -i -

将blktrace结果输出到本地目录，文件名为sda.blktrace.x，

blkparse -i trace

将trace文件作为blkparse输入，blkparse结果输出到屏幕。

blkparse -i trace -o outout

将trace文件作为blkparse输入，将分析结果输出到output文件。

六、perf

1、perf简介

perf是 Linux Kernel 2.6.31以后内置的性能分析工具，以性能事件采样为基础，不仅可以分析系统的各种事件和内核性能，还可以用来分析指定应用程序的性能问题。perf top能够实时显示占用CPU时钟最多的函数或者指令，可以用来查找热点函数。

2、perf命令

perf [--version] [--help] [OPTIONS] COMMAND [ARGS]

annotate：解析perf.data文件，显示被注释的代码。

archive：根据perf.data数据文件记录的build-id，将所有被采样的elf文件打包，可以在其它机器上分析数据文件中记录的采样数据。

bench：perf中内置的benchmark，包括针对调度器和内存管理子系统的benchmark。

buildid-cache：管理perf的buildid缓存，每个elf文件都有一个唯一buildid，buildid被perf用来关联性能数据与elf文件。

buildid-list：列出数据文件中记录的所有buildid。

config：在配置文件获取和设置变量

data： Data file related processing

diff： 对比两个perf.data数据文件的差异，给出每个符号（函数）在热点分析上的具体差异。

evlist：列出数据文件perf.data中所有性能事件。

inject：读取perf record工具记录的事件流，并将其定向到标准输出。在被分析代码中的任何一点，都可以向事件流中注入其它事件。

kmem： 针对内核内存（slab）子系统进行追踪测量的工具

kvm：追踪测试运行在KVM虚拟机上的Guest OS。

list：列出当前系统支持的所有性能事件，包括硬件性能事件、软件性能事件以及检查点。

lock：分析内核中的锁信息，包括锁的争用情况，等待延迟等。

mem：分析内存访问情况

record：收集采样信息，并将其记录在perf.data数据文件中。

report：读取perf record创建的数据文件，并给出热点分析结果。

sched：针对调度器子系统的分析工具。

script：执行perl或python写的功能扩展脚本、生成脚本框架、读取数据文件中的数据信息等。

stat：系统全局性能统计工具

test：perf对当前软硬件平台进行健全性测试，测试当前软硬件平台是否能支持perf所有功能。

timechart：针对测试期间系统行为进行可视化的工具

top：系统性能实时分析工具

probe：定义动态检查点。

trace：追踪系统调用工具

3、perf record

perf record [<options>] [<command>]

-e event：指定性能事件（多个用,分隔列表）

-p pid：指定待分析进程pid（多个用,分隔列表）

-t tid：指定待分析线程tid（多个用,分隔列表）

-u uid：指定收集用户数据，uid为名称或数字

-a：从所有CPU收集系统数据

-g：开启函数调用关系图记录

-C cpu-list：只统计指定CPU列表的数据，如：0,1,3或1-2

-r RT priority：perf程序以SCHED_FIFO实时优先级RT priority运行，值越大进程优先级越高（即nice值越小）

-c count： 事件每发生count次采一次样

-F n：每秒采样n次

-o output.data：指定输出文件output.data，默认输出到perf.data

4、perf top

perf top [<options>]

-e event：指定采样分析的性能事件。

-p pid：指定目标进程

-k pat：指定带符号表的内核映像所在路径

-K：不显示属于内核或模块的符号。

-U：不显示属于用户态程序的符号。

-d n：刷新周期，默认为2s，默认每2s从mmap的内存区域读取一次性能数据。

-g：得到函数的调用关系图。

第一行分别是采样数（Samples）、事件类型（event）和事件总数量（Event count）。perf总共采集4000个CPU时钟事件，而总事件数则为1922242080。如果采样数过少，后序数据无实际参考价值。

第一列Overhead是symbol的性能事件在所有采样中的比例，用百分比来表示。

第二列Shared是函数或指令所在的动态共享对象（Dynamic Shared Object），如内核、进程名、动态链接库名、内核模块名等。

第三列Object是动态共享对象的类型。[.]表示用户空间的可执行程序、或者动态链接库，而[k]表示内核空间。

第四列Symbol是符号名，即函数名。当函数名未知时，用十六进制的地址来表示。

perf top可以实时展示系统的性能信息，但并不保存数据，因此不能用于离线或者后续分析。perf record提供了保存数据的功能，保存后的数据需要使用perf report解析展示。

perf top 和 perf record加上-g参数，开启调用关系采样，可以根据调用链来分析性能问题。

perf工具看不到函数名，只能看到一些 16 进制格式的函数地址。其实，只要你观察一下 perf 界面最下面的那一行，就会发现一个警告信息：

perf找不到待分析进程依赖库时，不会打印出函数名称，只会显示16进制格式的函数地址。

如果应用程序在编译发布时，使用strip删除ELF二进制文件的符号表，perf也只能显示函数地址。

5、perf report

perf report [options]

-i filename：指定输入文件，默认为perf.data