sar命令详解

命令介绍

sar(System ActivityReport系统活动情况报告)是目前linux最为全面的系统性能分析工具之一,可以从多方面对系统的活动进行报告,包括:

  • 文件读写情况
  • 系统调用情况
  • 磁盘I/O
  • CPU效率
  • 内存使用状况
  • 进程活动
  • IPC有关活动等
    sar命令由sysstat安装包安装。

sar命令常用格式

选项:

[ -A ] [ -B ] [ -b ] [ -C ] [ -d ] [ -H ] [ -h ] [ -p ] [ -q ] [ -R ]
[ -r ] [ -S ] [ -t ] [ -u [ ALL ] ] [ -V ] [ -v ] [ -W ] [ -w ] [ -y ]
[ -I { <中断> [,...] | SUM | ALL | XALL } ] [ -P { <cpu> [,...] | ALL } ]
[ -m { <关键词> [,...] | ALL } ] [ -n { <关键词> [,...] | ALL } ]
[ -j { ID | LABEL | PATH | UUID | ... } ]
[ -f [ <文件名> ] | -o [ <文件名> ] | -[0-9]+ ]
[ -i <间隔> ] [ -s [ <时:分:秒> ] ] [ -e [ <时:分:秒> ] ]

-A所有报告的总和;
-b显示IO和传递速率的统计信息;
-B显示换页状态;
-d输出每一块磁盘的信息;
-e设置显示报告的结束时间;
-f从指定文件读取报告;
-i设置状态信息刷新的时间间隔;
-P报告每个CPU的状态;
-R显示内存状态;
-u输出cpu使用情况和统计信息;
-v显示索引节点;
-w显示交换分区的状态;
-x显示给定进程的状态;
-r报告内存利用率的统计信息;

sar -u

sar -u 1 3统计CPU的使用情况,每间隔1s就统计一次总共统计3次
%user用户空间的CPU使用;
%nice改变过优先级的进程的CPU使用率;
%system内核空间的CPU使用率;
%iowaitCPU等待IO百分比;
%steal虚拟机的虚拟CPU使用率;
%idle空闲的CPU;
sar命令详解
在以上的情况中,主要看%iowait、%idle,%iowait过高表示存在I/O瓶颈,即磁盘IO无法满足业务需求,如果%idle过低,表示CPU使用率比较严重,需要结合内存使用情况判断是否CPU存在瓶颈;

sar -p

sar -p 1 3报告每个CPU使用状态。
sar命令详解

将统计结果保存在文件并从文件读取内容

sar -u -o /tmp/1.txt 2 3保存后的文件是二进制的无法使用vim直接打开
sar -u -f /tmp/1.txt从二进制文件读取内容
sar命令详解

sar -q

sar -q查看平均负载
sar命令详解
runq-sz运行队列的长度(等待运行的进程数,每核的CPU不能超过3个);
plist进程列表中的进程(processes)和线程(threads)的数量;
ldav-l最后一分钟的CPU平均负载,即将多核CPU过去一分钟的负载相加再除以核心数得出平均值,5分钟、15分钟以此类推;

sar -r

sar -r内存使用情况
sar命令详解
kbmemfree 空闲的物理内存大小
kbmemused 使用中的物理内存大小
%memused物理内存使用率
kbbuffers 内核中作为缓冲区使用的物理内存大小,kbbuffers和kbcached:这两个值就是命令中的buffer和cache.
kbcached 缓存的文件大小
kbcommit 保证当前系统正常运行所需要的最小内存,即为了确保内存不溢出而需要的最少内存(物理内存+Swap分区)
commit这个值是kbcommit与内存总量(物理内存+swap分区)的一个百分比的值

sar -w

sar -w查看系统swap分区的统计信息
sar命令详解
pswpin/s 每秒从交换分区到系统的交换页面(swap page)数量
pswpott/s每秒从系统交换到swap的交换页面(swap page)的数量

sar -b

sar -b查看I/O和传递速率的统计信息
sar命令详解
tps 磁盘每秒钟的IO总数,等于iostat中的tps
rtps 每秒钟从磁盘读取的IO总数
wtps每秒钟从写入到磁盘的IO总数
bread/s 每秒钟从磁盘读取的块总数
bwrtn/s 每秒钟此写入到磁盘的块总数

sar -d

sar -d磁盘使用详情统计
sar命令详解
sar命令详解
DEV 磁盘设备的名称,如果不加-p,会显示dev253-0类似的设备名称,因此加上-p显示的名称更直接;
tps:每秒I/O的传输总数;
rd_sec/s 每秒读取的扇区的总数;
wr_sec/s 每秒写入的扇区的 总数;
avgrq-sz 平均每次次磁盘I/O操作的数据大小(扇区);
avgqu-sz 磁盘请求队列的平均长度;
await 从请求磁盘操作到系统完成处理,每次请求的平均消耗时间,包括请求队列等待时间,单位是毫秒(1秒等于1000毫秒),等于寻道时间+队列时间+服务时间;
svctm I/O的服务处理时间,即不包括请求队列中的时间;
%util I/O请求占用的CPU百分比,值越高,说明I/O越慢;

sar -v

sar -v进程、inode、文件和锁表状态
sar命令详解
dentunusd 在缓冲目录条目中没有使用的条目数量
file-nr 被系统使用的文件句柄数量
inode-nr 已经使用的索引数量
pty-nr使用的pty数量
这里面的索引和文件句柄值不是ulimit -a查看到的值,而是sysctl.conf里面定义的和内核相关的值, max-file表示系统级别的能够打开的文件句柄的数量, 而ulimit -n控制进程级别能够打开的文件句柄的数量,可以使用sysctl -a | grep inodesysctl -a | grep file查看,具体含义如下:
file-max中指定了系统范围内所有进程可打开的文件句柄的数量限制(系统级别, kernel-level)。 (The value in file-max denotes the maximum number of file handles that the Linux kernel will allocate)。当收到"Too many open files in system"这样的错误消息时, 就应该曾加这个值了。

   # cat /proc/sys/fs/file-max
    4096
    # echo 100000 > /proc/sys/fs/file-max
    或者
    # echo ""fs.file-max=65535" >> /etc/sysctl.conf
    # sysctl -p

file-nr 可以查看系统中当前打开的文件句柄的数量。 他里面包括3个数字:

  1. 第一个表示已经分配了的文件描述符数量;
  2. 第二个表示空闲的文件句柄数量;
  3. 第三个表示能够打开文件句柄的最大值(跟file-max一致)。
    内核会动态的分配文件句柄, 但是不会再次释放他们(这个可能不适应最新的内核了, 在我的file-nr中看到第二列一直为0, 第一列有增有减)

man bash 找到说明ulimit的那一节:提供对shell及其启动的进程的可用资源(包括文件句柄, 进程数量, core文件大小等)的控制。 这是进程级别的, 也就是说系统中某个session及其启动的每个进程能打开多少个文件描述符, 能fork出多少个子进程等。当达到上限时, 会报错"Too many open files"或者遇上Socket/File: Can’t open so many files

sar -n

sar命令详解
sar -n统计网络信息
sar -n选项使用6个不同的开关:DEV,EDEV,NFS,NFSD,SOCK,IP,EIP,ICMP,EICMP,TCP,ETCP,UDP,SOCK6,IP6,EIP6,ICMP6,EICMP6和UDP6 ,DEV显示网络接口信息,EDEV显示关于网络错误的统计数据,NFS统计活动的NFS客户端的信息,NFSD统计NFS服务器的信息,SOCK显示套接字信息,ALL显示所有5个开关。它们可以单独或者一起使用。

sar -n DEV 1 1

sar -n DEV 1 1每间隔1秒统计一次,总计统计1次,下面的average是在多次统计后的平均值
sar命令详解
IFACE 本地网卡接口的名称
rxpck/s 每秒钟接受的数据包
txpck/s 每秒钟发送的数据库
rxKB/S 每秒钟接受的数据包大小,单位为KB
txKB/S 每秒钟发送的数据包大小,单位为KB
rxcmp/s每秒钟接受的压缩数据包
txcmp/s 每秒钟发送的压缩包
rxmcst/s 每秒钟接收的多播数据包

sar -n EDEV 1 1

sar -n EDEV 1 1 统计网络设备通信失败信息:
sar命令详解
IFACE 网卡名称
rxerr/s 每秒钟接收到的损坏的数据包
txerr/s 每秒钟发送的数据包错误数
coll/s 当发送数据包时候,每秒钟发生的冲撞(collisions)数,这个是在半双工模式下才有
rxdrop/s 当由于缓冲区满的时候,网卡设备接收端每秒钟丢掉的网络包的数目
txdrop/s 当由于缓冲区满的时候,网络设备发送端每秒钟丢掉的网络包的数目
txcarr/s 当发送数据包的时候,每秒钟载波错误发生的次数
rxfram 在接收数据包的时候,每秒钟发生的帧对其错误的次数
rxfifo 在接收数据包的时候,每秒钟缓冲区溢出的错误发生的次数
txfifo 在发生数据包 的时候,每秒钟缓冲区溢出的错误发生的次数

sar -n SOCK 1 1

sar -n SOCK 1 1统计socket连接信息
sar命令详解
totsck当前被使用的socket总数
tcpsck 当前正在被使用的TCP的socket总数
udpsck 当前正在被使用的UDP的socket总数
rawsck 当前正在被使用于RAW的skcket总数
if-frag 当前的IP分片的数目
tcp-tw TCP套接字中处于TIME-WAIT状态的连接数量
如果你使用FULL关键字,相当于上述DEV、EDEV和SOCK三者的综合。

sar -n TCP 1 3

sar -n TCP 1 3 TCP连接的统计
sar命令详解
active/s 新的主动连接
passive/s 新的被动连接
iseg/s 接受的段
oseg/s 输出的段

sar -n 使用总结

-n DEV 网络接口统计信息。
-n EDEV 网络接口错误。
-n IPIP数据报统计信息。
-n EIP IP错误统计信息。
-n TCP TCP统计信息。
-n ETCP TCP错误统计信息。
-n SOCK 套接字使用。

常用命令汇总,因版本和平台不同,有部分命令可能没有或显示结果不一致:

默认监控:

  • sar -b 5 5 IO传送速率
  • sar 5 5 CPU和IOWAIT统计状态
  • sar -B 5 5页交换速率
  • sar -c 5 5 进程创建的速率
  • sar -d 5 5 块设备的活跃信息
  • sar -n DEV 5 5网路设备的状态信息
  • sar -n SOCK 5 5SOCK的使用情况
  • sar -n ALL 5 5所有的网络状态信息
  • sar -P ALL 5 5每颗CPU的使用状态信息和IOWAIT统计状态
  • sar -q 5 5 队列的长度(等待运行的进程数)和负载的状态
  • sar -r 5 5内存和swap空间使用情况
  • sar -R 5 5内存的统计信息(内存页的分配和释放、系统每秒作为BUFFER使用内存页、每秒被cache到的内存页)
  • sar -u 5 5CPU的使用情况和IOWAIT信息(同默认监控)
  • sar -v 5 5inode, file and other kernel tablesd的状态信息
  • sar -w 5 5每秒上下文交换的数目
  • sar -W 5 5SWAP交换的统计信息(监控状态同iostat 的si so)
  • sar -x 2906 5 5显示指定进程(2906)的统计信息,信息包括:进程造成的错误、用户级和系统级用户CPU的占用情况、运行在哪颗CPU上
  • sar -y 5 5TTY设备的活动状态
  • 将输出到文件(-o)和读取记录信息(-f)