awk 命令的使用

awk是一种编程语言，用于在linux/unix下对文本和数据进行处理。数据可以来自标准输入(stdin)、一个或多个文件，或其它命令的输出。它支持用户自定义函数和动态正则表达式等先进功能，是linux/unix下的一个强大编程工具。它在命令行中使用，但更多是作为脚本来使用。Awk作为一个强大的文本分析工具，相对于grep的查找，sed的编辑，awk在其对数据分析并生成报告时，显得尤为强大。简单来说awk就是把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分再进行各种分析处理。

格式语法：

# awk ‘条件1  {动作1}  条件2  {动作2}…’ 文件名

如awk  ‘{[pattern]  action}’ {filename}(行匹配语句awk‘’只能使用单引号)

# awk ‘{print  $1,$3}’ mysql.log

# awk [选项参数] 'script' var=value file(s)

或

# awk [选项参数] -f scriptfile var=value file(s)

参数说明：

1. -F fs or --field-separator fs

指定输入文件折分隔符，fs是一个字符串或者是一个正则表达式，如-F:。

1. -v var=value or --asign var=value

赋值一个用户定义变量。

1. -f scripfile or --file scriptfile

从脚本文件中读取awk命令。

1. -mf nnn and -mr nnn

对nnn值设置内在限制，-mf选项限制分配给nnn的最大块数目；-mr选项限制记录的最大数目。这两个功能是Bell实验室版awk的扩展功能，在标准awk中不适用。

1. -W compact or --compat, -W traditional or –traditional

在兼容模式下运行awk。所以gawk的行为和标准的awk完全一样，所有的awk扩展都被忽略。

1. -W copyleft or --copyleft, -W copyright or –copyright

打印简短的版权信息。

1. -W help or --help, -W usage or –usage

打印全部awk选项和每个选项的简短说明。

1. -W lint or –lint

打印不能向传统unix平台移植的结构的警告。

1. -W lint-old or --lint-old

打印关于不能向传统unix平台移植的结构的警告。

1. -W posix

打开兼容模式。但有以下限制，不识别：/x、函数关键字、func、换码序列以及当fs是一个空格时，将新行作为一个域分隔符；操作符**和**=不能代替^和^=；fflush无效。

1. -W re-interval or --re-inerval

允许间隔正则表达式的使用，参考(grep中的Posix字符类)，如括号表达式[[:alpha:]]。

1. -W source program-text or --source program-text

使用program-text作为源代码，可与-f命令混用。

1. -W version or –version

打印bug报告信息的版本。

 

条件（pattern）：一般使用关系表达式作为条件。这些关系表达式非常多。

动作（action）：

格式化输出；流程控制语句。

事例1：打印出第一列和第6列的内容。

# awk '{printf $2 "\t" $6 "\n"}' users.txt

本事例没有任何的条件类型，这个文件中的所有内容都符合条件，动作会无条件执行。动作是格式化输出printf，“$2”和“$6”分别代表第二个字段和第六个字段。所以这个awk命令会列出users.txt中第二和第六字段。

又如下：

查看磁盘使用情况

# df  -h|awk '{print $1 "\t" $3}'

事例：

只显示/etc/passwd文件中的账户名

# cat /etc/passwd | awk -F : '{print $1}'

事例：

只是显示/etc/passwd的账户和账户对应的shell,而账户与shell之间以逗号分割,而且在开头一行添加列名name,shell,在最后一行添加"blue,/bin/nosh"。

# cat /etc/passwd |awk  -F ':'  'BEGIN {print "name,shell"}  {print $1","$7} END {print "blue,/bin/nosh"}'

事例：

# awk '/^root/{print $0}' /etc/passwd

/^root/ 为选择表达式，$0代表是逐行

事例：

# awk 'BEGIN{FS=":"}/^root/{print $1,$NF}' /etc/passwd

FS为字段分隔符，可以自己设置，默认是空格，因为passwd里面是”:”分隔，所以需要修改默认分隔符。NF是字段总数，$0代表当前行记录，$1-$n是当前行，各个字段对应值。

事例：

# awk 'BEGIN{FS=":"}{print NR,$1,$NF}' /etc/passwd

NR得到当前记录所在行。

事例：

# awk 'BEGIN{FS=":";OFS="^^"}/^root/{print FNR,$1,$NF}' /etc/passwd

OFS设置默认字段分隔符。

事例：

# awk 'BEGIN{FS=":";ORS="^^"}{print FNR,$1,$NF}' /etc/passwd

ORS默认是换行符，这里修改为“^^”, 所有行之间用”^^”分隔了.

事例：

# awk 'BEGIN{FS=":";print "ARGC="ARGC;for(k in ARGV) {print k"="ARGV[k]; }}' /etc/passwd

ARGC得到所有输入参数个数，ARGV获得输入参数内容，是一个数组。

事例：

# awk 'BEGIN{FS=":";print FILENAME}{print FILENAME}' /etc/passwd

FILENAME,$0-$N,NF 不能使用在BEGIN中，BEGIN中不能获得任何与文件记录操作的变量。

Awk的条件：

BEGIN：

BEGIN 是 awk 的保留字，是一种特殊的条件类型。BEGIN 的执行时机是"在 awk 程序一开始，尚未读取任何数据之前"。

# awk 'BEGIN{printf "this is my script\n"} {print $1 "\t" $6 "\n"}' users.txt

End：

END 也是 awk 的保留字，不过刚好和 BEGIN 相反。END 是在 awk 程序处理完所有数据，即将结束时执行的。END 后的动作只在程序结束时执行一次。

# awk 'END{printf "this is my script\n"} {print $1 "\t" $6 "\n"}' users.t.txt

事例：

获取系统的MAC地址：

# ifconfig |awk '/HW/{print $5}'

事例：

获取系统的子网掩码

事例：

#awk -F    （-F相当于内置变量FS，指定分割字符）

# awk -F : '{print $1,$3}' /etc/passwd

事例:

NR 已经读出的记录数，就是行号，从1开始，如果有多个文件话，这个值也是不断累加中。

Filename使用/etc/passwd即可

1. 功能是打印所有输入行

awk '{print $0} ' f ilename

1. 打印输入文件第八行

awk 'NR==8{print $0} ' f ilename

1. 用awk打印文件所有行的第一个字段

awk -F:'{print $1} ' f ilename

1. 打印输入行总数

awk 'END{print NR}' f ilename

1. 打印每行字段数

awk -F: '{print NF,$0} ' f ilename

1. 打印最后一行的最后一个字段的值

Awk -F: 'END{print $NF} ' filename

1. 打印字段数大于等于4个的行

Awk -F: ‘NF>＝4｛print $0｝ ’ f ilename