Shell统计词频
写一个 bash 脚本以统计一个文本文件 words.txt
中每个单词出现的频率。
为了简单起见,你可以假设:
-
words.txt
只包括小写字母和' '
。 - 每个单词只由小写字母组成。
- 单词间由一个或多个空格字符分隔。
示例:
假设 words.txt
内容如下:
the day is sunny the the the sunny is is
你的脚本应当输出(以词频降序排列):
the 4 is 3 sunny 2 day 1
说明:
- 不要担心词频相同的单词的排序问题,每个单词出现的频率都是唯一的。
- 你可以使用一行 Unix pipes 实现吗?
代码:
cat words.txt | tr -s ' ' '\n' | sort | uniq -c | sort -rn | awk '{print $2, $1}'
解释:
1、用cat读取文件
2、用tr命令将空格替换为换行,tr是translate的缩写
3、排序
4、去重计数
5、用sort排序,-r是降序, -n是按数值大小排序
6、使用awk行处理命令打印结果,$2是第2个字段,$1是第一个字段
运行过程如下图: