Shell脚本学习指南笔记
Shell脚本学习指南
作者:Danbo 2015-8-3
脚本编程语言与编译型语言的差异
许多中型、大型的程序都是用编译型语言写的,例如:C、C+、Java等。这类程序只要从源代码(Source Code)转换成目标代码(object code),便能直接通过计算机来执行。
编译型语言的好处是高效,缺点是:他们多半运作于底层,所处理的是字节、整数、浮点数或是其他机器层级的对象。而脚本语言Shell通常是解析型(interpreted)的。这类程序的执行,是由解析器(interpreter)读入程序代码,并将其转换成内部的形式。解析器本身是一般的编译型程序。
查找文本
以grep程序查找文本,传统上有三种程序:
1.grep:使用基本正则表达式(Basic Regular Expression,BRE)
2.egrep:扩展grep使用扩展正则表达式(Extended Regular Expression),不过会消耗更多的资源。
3.fgrep:快速grep匹配固定字符串而非正则表达式,grep与egrep只能匹配单个正则表达式,而fgrep使用不同的算法,却能匹配多个字符串。
简单的grep
grep -F danbo,-F选项,以查找固定字符串danbo。事实上,只要匹配的模式里面未包含正则表达式的meta字符表达式的meta字符,grep默认行为模式就等于使用了-F。
grep的语法格式:
-E 使用扩展正则表达式进行匹配。grep -E等同于egrep。
-F 使用固定字符串进行匹配。grep -F可取代传统的。
-i 模式匹配时忽略字母大小写差异。
-q 静默地。不输出结果,echo $? 返回0成功,返回1没有找到匹配的内容。
-v 显示不匹配模式的行。
-c 计算找到搜索字符串的次数。
-n 输出含有搜索字符串所在行的行号。
正则表达式
正则表达式是一种表示方式,让你可以查找匹配特定准则的文本。
常用到的字符及其意义:
\ 逃脱字符,关闭后续字符的特殊意义。有时则具有特殊意义:\{...\}
. 匹配任意单个字符,但是nul除外。
* 匹配之前的任意的单个字符。当位于第一个字符时,无意义。
^ 匹配在行或字符串的起始处。BRE:仅在正则表达式的开头出具有意义。EBR:置于任何位置都具有特殊含义。
$ 匹配前面的正则表达式,在字符串或行尾。BRE:仅在正则表达式结尾处具特殊含义。ERE:置于任何位置都具有特殊含义。
[...] 方括号表达式,匹配方括号内的任意字符。连接符“-”指的是连续字符的范围。“^”置于第一个位置取反。
\{n,m\} 区间表达式,匹配在它前面的单个字符重现的次数,\{n\}指的是重新n次;\{n,\}重新n次及以上;\{n,m\}指的是前面单个字符重新n至m次。
\( \) 将“\(”与“\)”的模式存储在特殊的“保留空间”。最多可以将9个独立的子模式(sbupattern)存储在单个模式中。可以通过\1至\9,被重复使用在相同模式里。例如\(ab\).*\1指的是匹配ab组合的两次重新,中间可以存在任意数目的字符。例如可以匹配:ab..........ab。另一个例如:\(ab\)\(cd\).*\2\1则是匹配:abcd........cdab注意后面的\n表示匹配前面第几个小括号。
+ 匹配前面正则表达式的一个或多个实例。
? 匹配前面正则表示式的零个或一个实例。
| 匹配|左右的正则表达式。
( ) 匹配括号括起来的正则表达式。
POSIX字符集
扩展正则表达式
我们比较一下BRE与ERE的区别,主要体现在以下几点:
BRE只定义了4组元字符:
[] 用于在多个字符中选定一个字符进行匹配,[]内可以有-以示范围,但-本身不是元字符
. 用于匹配任意字符
^ 用于匹配时表示“非”的含义,还有一个用法是匹配行首
$ 用于匹配行尾
ERE在此基础上增加了3组元字符的定义:
{} 用于表示重复匹配的次数。BRE中只将{}当作普通字符对待,要使用此功能必须加\进行转义,即“\{\}”
() 用于分组。BRE中只将()当作普通字符对待,要使用此功能必须加\进行转义,即“\(\)” 比如:(why)+匹配一个或多个why
| 完全为ERE新增的多项匹配能力定义的,BRE无多项匹配能力,只将|作普通字符对待。比如:(read|write)+表示一个或多个read或者一个或多个write。
注意|为所有运算中优先级最低的,^abcd|efgh$意思是“匹配字符串的其实处是否有a、b、c、d,或者结尾处是否有e、f、g、h”,这个和^(abcd|efgh)$不一样,后者表示“以abcd开头或者以efgh结尾”
ERE运算符的优先级
扩展:“\”<与“\>”分别匹配word的开头语结尾,其中word是由字母、数字、下划线组成的。我们称这类字符为单词组成(word-constituent)。例如:\<chop匹配chopsticks,却不匹配lambchop。
额外的GUN正则表达式运算符
在文本里进行替换
sed基本用法:
-e 当有多个命令需要应用时,就必须使用-e了。
-f script-file 读取脚本文件中的sed命令。
-n 安静模式,仅显示经过sed名利处理的行。通常与p一起使用。
/字符扮演定界符(delimiter)的角色,用于分割正则表达式与替换文本,任何可现现实的字符都能作为定界符。标点符号也是可以的(比如:分号、冒号、逗号)。
例如:echo /home/tolstoy/ | sed 's;\(/home\)/tolstory/;\1/lt/;'
注意:\1表示匹配前面()之间的内容,且向后引用最多可以用到9个,这点前面已经讲过了。
sed 's/Tolstory/Camus/g' < example.txt #g表示全局性(Global)。另一个结尾指定数字,指示第n个匹配出现才去取代。
例如:sed -e 's/foo/bar/g' -e 's/chicken/cow/g' < example.txt
不过,如果有很多要编辑的话,我们就需要将编辑命令全部放入脚本文件中,再使用sed搭配-f选项:
cat fixup.sh
s/foo/bar/g
s/chicken/cow/g
...
sed -f fixup.sh example1.xml > example2.xml
上面意思为读取fixup.sh内的编辑命令,然后修改example1.xml的内容,修改后结果保存在example2.xml文件中。
sed的运作原理
sed读入每个文件,一次读入一行,将读取的行放入内存的一个区域---称之为模式空间(pattern space)。类似变量:内存的一个区域在编辑命令的指示下可以改变,所有编辑上的操作都会应用到模式空间的内容。当所有操作完成后,sed会将模式空间的最后内容打印到标准输出,再回到开始处,读取另外一个输入行。
sed匹配特定行
我们可以限制一条命令应用到哪些行,只要在命令前置一个地址(address)即可。
例如:sed '/named/ s/nologin/fuck/g' </etc/passwd
先定为含有named的行,然后在该行中进行替换。
范围:
指定行的范围:sed -n '10,21p' /etc/passwd #打印10-21行。
指定替换范围:sed '/foo/,/bar/ s/baz/quux/g' /etc/passwd #从含有foo的行开始匹配到bar的行,再进行替换。
否定正则表达式:
sed '/used/!s/new/used/g' #将没有used的每一行里所有的new改为used。
行 v.s. 字符串
大部分简易程序都是处理输入的数据的行,想grep与egrep,以及sed。在这些情况下,不会有内嵌的换行字符出现在将要匹配的数据中,^与$分别表示行的开头与结尾。
然而对于awk、Perl、Python,所处理的就多半是字符串。不过这类都会让你标明每条输入记录的定界符,所以有可能单独的输入行里会有内嵌的换行符,这种情况下,^与$是无法匹配内嵌的换行字符的。
记录和字段
一条记录(record)指的是相关信息的单个集合;字段(filed)指的是记录的组成一部分。
/etc/passwd每条记录中的每个字段的含义如下:
root:x:0:0:root:/root:/bin/bash
使用cut选定字段
cut命令是用来剪下文本文件里的数据,文本文件可以是字段类型或是字符类型
例如:cut -d : -t 1,5 /etc/passwd #范围1,5也可以使用1-5
-c 以字符为参考
-d 指定定界符,默认是制表字符(Tab)
-f filed指定第几个字段。
使用join连接字段
join命令可以将多个文件结合在一起,每个文件里的每条记录,都共享一个键值(key),键值值得是记录中的主字段,通常会是用户名称、个人姓氏、员工编号之类的数据。
语法:join [options...] file1 file2
-1 field1
-2 field2
标明要结合的字段。-1 field1指的是从file1取出field1,而-2指的是从file2中取出field2。
-o file.field
输出file文件中的field字段。一般的字段则不打印。除非使用多个-o选项,即可显示多个输出字段。
-t separator
使用separator作为输入字段分割字符,而非使用空白。
使用awk重新编排字段
awk设计的重点就是在字段与记录上:awk读入输入记录(通常是一些行),然后自动将各个记录切分为字段。awk将每条记录内的字段数据,存储到内建变量NF。
默认以空白分割字段---例如空格与制表符字段(或两者混用),你可以将FS变量设置为一个不同的值。
如需字段值,则是搭配$字符。通常$之后会接着一个数值常数,也可能是接着一个表达式,不过多半是使用变量名称。例如:
awk '{print $1,$NF}' #打印第1个与最后一个字段
awk 'NF > 0 {print $0}' #打印非空行 等同于:grep -v "^$"
设置字段分割字符
例如:awk -F: '{print $1,$5}' /etc/passwd
-F选项会自动地设置FS变量。请注意,程序不必直接参照FS变量。awk的输入、输出分割字符用法是分开的,这点与其他工具程序不同。也就是说,必须设置OFS变量,改变出字段分割字符。方式是在命令行里使用-v选项。例如:
[[email protected] uestc]# awk -F: -v 'OFS=**' '{print $1,$NF}' ./passwd
root**/bin/bash
打印行
[[email protected] uestc]# awk -F: '{print "User", $1, "is really", $NF}' /etc/passwd
User root is really /bin/bash
简单明了的print语句,如果没有任何参数,则等同于print $0,即显示整条记录。
当我们使用printf语句时,用法如下:
[[email protected] /]# awk -F: '{printf "User %s is really %s\n",$1,$NF}' /etc/passwd
User root is really /bin/bash
awk的print语句会自动提供最后的换行字符,然后,如果使用printf语句,则用户必须要通过\n转义序列的使用自己提供。
请记住:在print的参数间用都好隔开!,否则,awk将连接相邻的所有值。
起始于清除
BEGIN与END这两个特殊的“模式”,它们提供awk程序起始(startup)与清楚(cleanup)操作。
BEGIN与END的语句块是可选用的。如需设置,习惯上它们应分别位于awk程序的开头与结尾处。你可以有数个BEGIN与END语句块,awk会按照它们出现在程序的顺序来执行:所有的BEGIN语句块都应该放在起始处,所有END语句块也应该放在结尾。例如:
[[email protected] /]# awk 'BEGIN {FS=":" ; OFS="**"} {print $1,$NF}' /etc/passwd
root**/bin/bash
排序文本
未提供命令行选项时,整个记录都会根据当前locale所定义的次序排序。在传统的的C locale中,也就是ASCII顺序。这里我们介绍一个排序命令:sort
sort [options] [files]
-b 忽略开头的空白。
-c 检查输入是否已正确地排序。如果未经过排序,退出码(exit code)非零值,不会有任何输出。
-d 字典顺序,仅处理英文字母、数字、空格。
-f 忽略英文字母的大小写。
-i 忽略无法打印的字符,即只识别
-k 指定排序的键值,即按照哪个域进行排序。
-n 以整数类型排序。
-o outfile 将输出写到指定的文件,而非标准输出。
-r 倒置排序(descending),默认是由小到大(ascending)。
-t 指定分割符,默认空格
-u uniq即丢弃所有相同键值的记录,即删掉重复行。
例如:如果你想把结果输入到输入文件中,则不同能重定向了,此时我们需要使用-o
例如:sort -r number.txt -o number.txt
例如:sort -t ":" -k 2 /etc/passwd
使用点号字符位置,则比较的开始(一对数字的第一个)或结束(一对数字的第二个)在该字符位置处:
-k2.4,-k5.6指的是从第二个字段的第四个字符开始比较,一直比到第五个字段的第六个字符。
例如:sort -t ":" -k 3.1 /etc/passwd
例如:sort -t ":" -k3n -k4n /etc/passwd #按照第一个key值排序,然后再按照第二个key值排序。
sort的稳定性
稳定性(Stable)指的是:相同的记录输入顺序是否在输出时时也可保持原状,这点sort并不稳定,不过我们可以通过--stable选项来使其变得稳定。
删除重复
有时,将数据流里连续重复的记录删除是很有必要的,前面我们介绍了sort -u的用法,不过它的消除操作是依据匹配的键值,而非匹配的记录我们则使用uniq。
-c 可在每个输出行之前加上改行重复的次数。
-d 仅显示重复的行。
-u 仅显示未重复的行。
默认情况下不带任何选项:显示唯一的、排序后的记录,重复则仅取唯一行。
重新格式化段落
fmt通过将所有非空白行的长度设置为几乎相同,来进行简单的文本格式化。
-s 仅仅切割较长的行,但不会将短行结合成长行。
-w n 则设置输出行宽度为n个字符(默认通常为75个)。
例如:fmt -s -w 10 << END_OF_DATA
[[email protected] ~]# fmt -s -w 10 << END
> Welcome to UESTC
> Ali
> Taobao
> Baidu Group
> END
Welcome
to UESTC
Ali
Taobao
Baidu
Group
计算行数、字数以及字符数
wc -c 计算字节数(bytes)
wc -l 计算行数
wc -w 计算字数
wc -m 计算字符数(character)
注意:wc在处理的时候,一定要在文件末尾存在换行符,否则统计行数是不正确的:
[[email protected] ~]# echo "UESTC" | wc -l
1
[[email protected] ~]# echo -n "UESTC" | wc -l
0
提出开头或结尾数行
显示前n条记录:
head -n n
head -n
awk 'FNR<=n'
sed -e nq
sed nq
观察动态观察结尾:tail -n 10 -f /var/log/messages
几个值得加入工具箱的命令
dd 可以以用户指定的块大小与数量拷贝数据,可以进行大小写转换,以及字符转换,备份等。
dd应用实例:
1.将本地的/dev/hdb整盘备份到/dev/hdd
dd if=/dev/hdb of=/dev/hdd
2.备份/dev/hdb全盘数据,并利用gzip工具进行压缩,保存到指定路径
dd if=/dev/hdb | gzip > /root/image.gz
3.将压缩的备份文件恢复到指定盘
gzip -dc /root/image.gz | dd of=/dev/hdb
4.备份磁盘开始的512字节第一扇区文件,即MBR信息到指定文件
dd if/dev/hda of=/root/image count=1 bs=512
count=1指仅拷贝一个块;bs=512指块大小为512个字节。
5.拷贝内存内容到硬盘
dd if=/dev/mem of=/root/mem.bin bs=1024 (指定块大小为1k)
6.增加swap分区文件大小
Step1:创建一个大小为256M的文件
dd if=/dev/zero of=/swapfile bs=1024 count=262144
Step2:把这个文件变成swap文件:
mkswap /swapfile
Step3:启用这个swap文件:
swapon /swapfile
Step4:编辑/etc/fstab文件,使在每次开机使自动加载swap文件:
/swapfile swap swap default 0 0
7.销毁磁盘数据
dd if=/dev/urandom of=/dev/hda1 #注意利用随机的数据填充硬盘,在某些必要的场合可以用来销毁数据
8.测试硬盘的读写速度
dd if=/dev/zero bs=1024 count-1000000 of=/root/1GB.file;
dd if=/root/1GB.file bs=64k | dd of=/dev/null
9.修复硬盘
dd if=/dev/sda of=/dev/sda
file 用于检测文件类型
od 八进制码转存(octal dump)命令,显示ASCII码。此命令主要用来查看保存在二进制文件中的值。
strings 用来查看二进制文件,例如声音、图像文件有时会在开头出包含一些有用的文本数据。
例如:
[[email protected] ~]# strings -a 12.jpg | head -c 256 | fmt -w 65
JFIF rExif Apple iPhone 5s 7.1.1 2014:06:12 23:11:30 0221 0100
2014:06:12 23:11:30 2014:06:12 23:11:30 dApple iOS
tr 它可以非常容易地试下sed许多最基本的功能。它可以用一个字符来替换另一个字符,或者可以完全除去一些字符。同时也可以用它来除去重复字符。
-c 用字符串1中字符集的补集替换此字符集,
-d 从标准输入中删除字符串1中所有字符
-s 删除所有重复出现字符序列,只保留一个。
例如:
[[email protected] ~]# echo Hello,world,root,2015 | tr -c "[0-9]" "*"
*****************2015*
可以看出,我们使用0-9,添加-c选项后,会把0-9替换为其补集,这时补集自然不包含0-9,而包含很多其他的字符,接下来就把其他字符都替换成*号,但不包含数字。
变量与算术
Shell脚本里面经常出现一些简单的算术运算,例如每经过一次循环,变量就会加1,。Shell为内嵌算术提供了一种标记法,称为算术展开(arithmetic expansion)。Shell会对$((...))里面的算术表达式进行计算,再将计算后的结果放回到命令的文本内容。
最常见的命令是export,其用法是将变量放入环境里。环境是一个名称与值的简单列表,可供所有执行中的程序使用。新的进程会从其父进程继承环境。
export命令仅将变量加到环境中,如果你要从程序的环境中删除变量,则要用到env命令,env也可临时改变环境变量的值:
env -i PATH=/usr/bin/local
-i 选项时用来初始化环境变量的,仅传递命令行上指定的变量给程序使用。
unset 命令从执行内中的Shell中删除变量与函数。默认情况下,它会解除变量设置。
-f 删除指定的函数
-v 默认选项,删除指定的变量。
展开运算符
在Shell下,有更复杂的形式可用与更特殊的情况。这些形式都是将变量名括在花括号里${variable},然后再增加额外的语法以告诉Shell该做些什么。
替换运算符:
${varname:-word} 如果varname存在且非null,则返回其值;否则,返回word。
${varname:=word} 如果varname存在且非null,则返回其值;否则,设置它为word,并返回其值。
${varname:?word} 如果varname存在且非null,则返回其值;否则,显示varname:word。
${varname:+word} 如果varname存在且非null,则返回word;否则返回null。为了测试变量的存在。
上述中“:”是可选的,如果没有的话,则将存在且非空改为存在。
模式匹配运算符:
${path#/*/*} 从前匹配最短删除或替换。
${path%/*/*} 从后匹配最短删除或替换。
${#variable} 返回$variable值里的字符长度。
位置参数:
$# 提供传递到Shell脚本或函数的参数总数。
while [ $# != 0 ]
do
case $1 in
...
esac
shift
done
$* & [email protected] 将所有命令行参数传递给脚本或函数所执行的程序。
$* 将所有命令行参数视为单个字符串。
[email protected] 将所有命令行参数视为单独的个体。
Shell内置变量
算术展开
“位与”与“逻辑与”的区别:
对于两个整型量,逻辑与只判断两个均不为0,则为True,但是按位与则将两个数转为二进制,对于每个位进行与运算,如果结果不为0,则为True。
退出状态
退出状态及其含义如下图所示:
exit n 目的是从Shell脚本返回一个退出状态给脚本的调用者。
test命令
test中-a的优先级高于-o
注意:-a的使用与&&的适用范围不同,"&&"和"||"只能用在[]之间,而-a与-o能用在[]之内。
例如:test -f file && echo true||echo false 等同于 [ -f file ] && echo true|| echo false