shell的几种常用工具
最近在学习shell脚本语言,在学习的过程中了解了关于shell的几种常用工具,就总结了一下。
1、sort
- 功能:顾名思义,sort是对文本进行排序操作的。
- 原则:sort将文件的每一行作为一个单位,相互比较,比较原则是从首字符向后,依次按ASCII码值进行比较, 后将他们按升序输出。
man手册解释:
常用选项介绍:
选项 | 说明 |
---|---|
-r | 将文本文件降序输出 |
-u | 在输出行中去掉重复行 |
-n | 以数值来进行升序排序 |
-t | 设定间隔符 |
-k | 用来对指定列数进行排序,通常与-t一起使用 |
-f | 将小写字母都转换为大写字母来进行比较,亦即忽略大小写 |
-c | 会检查文件是否已排好序,如果乱序,则输出第一个乱序的行的相关信息,后返回1 |
-C | 会检查文件是否已排好序,如果乱序,不输出内容,仅返回1 |
-b | 会忽略每一行前面的所有空白部分,从第一个可见字符开始比较 |
用法示例:
(1)使用sort对文件内容进行升序、降序排序:
(2)去掉重复行升序、降序:
(3)按指定列进行排序
2、uniq
man手册解释:
主要用来去除文本中的重复行
用法示例:
常用语法
选项 | 说明 |
---|---|
-c | 显示输出中,在每行行首加上本行在文件中出现的次数。它可取代-u和-d选项。 |
-d | 只显示出现重复的行 |
-u | 只显示文件中不重复的各行 |
示例:
3、利用sort和uniq求两个文件的交集、并集和补集
分别建立两个文件:
求两个文件的交集:
求两个文件的并集:
求两个文件的补集(file1-file2):
4、paste
man手册说明:
**功能:**paste单词意思是粘贴。该命令主要用来将多个文件的内容合并。paste将按行将不同文件行信息放在一行。缺省情 况下, paste连接时,用空格或tab键分隔新行中不同文本
将file1和file2内容合并:
常用选项:
(1) -d: 指定域分隔符
指定域分隔符为“:”,并合并两个文件内容
(2)-s: 将每个文件合并成行而不是按行粘贴
(3)- 对每一个(-),从标准输入中读一次数据。默认使用空格 或者tab作域分隔符,该选项可以定制输出格式
5、cut
man手册说明:
**功能:**cut 命令从文件的每一行剪切字节、字符和字段并将这些字节、字符和字段写至标准输出。 如果不指定 File 参数, cut 命令将读取标准输入。必须指定 -b、-c 或 -f 标志之一。
常用选项:
(1)-b :以字节为单位进行分割。
(2)-c :以字符为单位进行分割
对于字符处理,-c和-b似乎没有什么区别,但当你处理汉字的时候,就会有所不同,感兴趣的可以自己测试一下。
(3)-d :自定义分隔符,默认为制表符。
(4)-f :与-d一起使用,指定显示哪个区域
6、xargs
man手册描述:
**功能:**xargs命令是给其他命令传递参数的一个过滤器,也是组合多个命令的一个工具。它擅长将标准输入数据转换成命 令行参数,xargs能够处理管道或者stdin并将其转换成特定命令的命令参数。xargs也可以将单行或多行文本输入 转换为其他格式,例如多行变单行,单行变多行。xargs的默认命令是echo,空格是默认定界符。这意味着通过管 道传递给xargs的输入将会包含换行和空白,不过通过xargs的处理,换行和空白将被空格取代。xargs是构建单行命令的重要组件之一。
常用选项:
(1)-n选项:指定列数,并多行输出
(2)-d选项: 自定义一个域分隔符,将特定列打散,并指定格式输出
(3)将格式化后的字符串作为命令行参数传递给其他命令,组装完成批量任务
(4)选项-I,使用-I指定一个替换字符串{},这个字符串在xargs扩展时会被替换掉,当-I与xargs结合使用, 每一个参数命令都会被执行一次
(5)find xargs rm 混合使用:
一张图总结xargs常见用法:
7、sed
man手册说明:
**功能:**sed是一种流编辑器,它是文本处理中非常中的工具,能够完美的配合正则表达式使用,功能不同凡响。处理时, 把当前处理的行存储在临时缓冲区中,称为“模式空间”(pattern space),接着用sed命令处理缓冲区中的内容, 处理完成后,把缓冲区的内容送往屏幕。接着处理下一行,这样不断重复,直到文件末尾。文件内容并没有 改变, 除非你使用重定向存储输出。Sed主要用来自动编辑一个或多个文件;简化对文件的反复操作;编写转换程序等。
sed默认安照Basic规范基本匹配
常见使用方法:
(1)/pattern/p: 打印匹配pattern的行
使用p命令需要注意,sed是把待处理文件的内容连同处理结果一起输出到标准输出的,因此p命令表示除了把文件内 容打印出来之外还额外打印一遍匹配pattern的行 要想只输出处理结果,应加上-n选项,这种用法相当于grep命令。
(2)/pattern/d: 删除匹配pattern的行
sed命令不会修改原文件,删除命令只表示某些行不打印输出,而不是从原文件中删去,如果要影响源文件,需要使用 -i 选项
(3)/pattern/s/pattern1/pattern2/: 查找符合pattern的行,将该行第一个匹配pattern1的字符串替换为 pattern2