文本搜索之grep、fgrep、egrep以及正则表达式

一、grep、egrep、fgrep命令

  说明：本文在CentOS 6.6 X86_64系统下grep、egrep、fgrep命令和正则表达式的基本参数和使用格式、方法。

1.1、基本定义：

    grep（Global search Regular Expression ) and Print out the line,全面搜索正则表达式并把行打印出来）是一种强大的文本搜索工具，它只能使用基本的正则表达式来搜索文本，并把匹配的行打印出来。

    grep是很常见也很常用的命令，它的主要功能是进行字符串数据的比较，然后符合用户需求的字符串打印出来，但是主意，grep在数据中查找一个字符串时，是以“整行”为单位进行数据筛选的。

    egrep命令等同于grep -E，利用此命令可以使用扩展的正则表达式对文本进行搜索，并把符合用户需求的字符串打印出来。

    fgrep命令等同于grep -F，它利用固定的字符串来对文本进行搜索，但不支持正则表达式的引用，所以此命令的执行速度也最快。

    正则表达式组成：

    正则中的字符分为元字符和一般字符，一般字符就匹配它本身（写什么就是什么，比如正则中写字母‘a’，匹配的时候就匹配字母‘a’），而元字符是正则表达式中最基本的内容，也是最核心的内容，基本上所有的正则表达式都由“元字符”组成，元字符就是正则表达式的基础。在此文中，会涉及到字符组，多选结构，点号以及预定义字符集的基本介绍。

    正则表达式作用：

    正则表达式在很多文本编辑器里，正则表达式通常被用来检索、替换那些符合某个模式的文本。简而言之，正则表达式就是处理字符串的方法，以行为单位进行字符串的处理，通过一些特殊符号的辅助，可以让用户轻松搜索/替换某特定的字符串。

    名称解释：

    元字符：所谓元字符就是指那些在正则表达式中具有特殊意义的专用字符。这些元字符（专用的字符或则字符组），可以代替多个一个或多个字符。

    正则表达式：由一类字符书写的模式，其中有些字符不表示字符的字面意义，而是表示控制或通配的功能。

1.2、命令基本用法：

    1.2.1、grep用法

    grep [OPTIONS] 'PATTERN' [FILE...]

    grep常用选项：

        -c :计算找到'搜索字符串'的次数

        -i :忽略大小写 

        -v :反向查找，即显示没有'搜索字符串'内容的那行 

        -o :只显示被模式匹配的字符串 

        -n :输出行号 

        --colour（color）:颜色显示 

        -A：显示匹配到字符那行的后面n行 

        -B：显示匹配到字符那行的前面n行 

        -C：显示匹配到字符那行的前后n行 

1.2.2、egrep用法：

    同grep用法，本处略。

1.2.3、fgrep用法：

    fgrep [OPTIONS] 'String' [FILE...]

    同grep用法，本处略。

1.2.4、grep的匹配选择：

    grep -G, --basic-regexp：以标准正则表达式，进行匹配。

    grep -E, --extended-regexp：以扩展正则表达式，进行匹配。

    grep -F, --fixed-strings：以'字符串'，进行匹配。

    grep -P, --perl-regexp：以Perl的正则表达式，进行匹配。

二、标准正则表达式

2.1、基本元字符：

    一般字符：匹配自身

        .：匹配任意除换行符"\n"外的字符。

        \:转义字符，使后一个字符改变原来的意思。如果字符串中有字符*需要匹配，可以使用\*或字符集[*]

        [...]：字符集(字符类)。对应的位置可以是字符集中任意单个字符。字符集中的字符可以逐个列出，也可给出范围。

        [^]：匹配指定集合外的任意单个字符

2.2、预定义字符集(可以写在字符集[...]中)

        字符集合：

            [:space:] 所有的空白字符， [[:space:]]

            [:punct:] 所有标点符号

            [:lower:] 所有小写字母

            [:upper:] 所有大写字母

            [:digit:] 所有数字

            [:alpha:] 所有字母

            [:alnum:] 所有字母和数字

2.3、数量词：

        *: 匹配其前面的字符任意次，0,1或多次；

        \?：匹配其前面的字符0次或1次；

        \+: 匹配其前面的字符出现至少1次；

        \{m\}: 匹配其前面的字符m次；

        \{m,n\}：匹配其前面的字符至少m次，至多n次；

        .*: 匹配任意长度的任意字符

2.4、字符锚定：

        ^: 行首锚定

        写在模式的最左侧

        $: 行尾锚定

        写在模式的最右侧

        ^$: 空白行

        \<: 词首锚定, \b

        出现在要查找的单词模式的左侧；\<char

        \>：词尾锚定, \b

        出现在要查找的单词模式的右侧；char\>

        \<pattern\>: 匹配单词

2.5、分组:

    \(\)：被括起来的表达式将作为分组，行表达式左边开始每遇到一个分支的左括号'('，编号+1。

        后向引用：模式中，如果使用\(\)实现了分组，在某行文本的检查中，如果\(\)的模式匹配到了某内容，此内容后面的模式中可以被引用；

        \1, \2, \3

        模式自左而右，引用第#个左括号以及与其匹配右括号之间的模式匹配到的内容；

三、扩展正则表达式

    字符匹配：

        .：匹配任意除换行符"\n"外的字符。

        [...]：字符集(字符类)。对应的位置可以是字符集中任意单个字符。字符集中的字符可以逐个列出，也可给出范围。

        [^]：匹配指定集合外的任意单个字符

    匹配次数限定：

        *:匹配其前面的字符任意次，0,1或多次；

        ?: 匹配其前面字符0次或1次；

        +：匹配其前面的字符至少1次；

        {m}：匹配其前面的字符m次；

        {m,n}：匹配其前面的字符最少m次，最多n次；

        {m,}：匹配其前面的字符最少m次； 

        {0,n}：匹配其前面的字符0次，最多n次；

    锚定：

        ^：行首锚定；

        $：行尾锚定；

        \<, \>: \b：匹配单词

    分组：

        (...)：被括起来的表达式将作为分组，行表达式左边开始每遇到一个分支的左括号'('，编号+1。 

        支持后向引用：\1, \2, ...

    或者：

        |：|代表左右表达式任意匹配一个。它总是先尝试匹配左边的表达式，一旦成功匹配则跳过匹配右边的表达式。

四、例子演示：

4.1、grep基本用法：

     # grep -c 'HOSTNAME' /etc/rc.sysinit

     # grep -i 'HOSTNAME' /etc/rc.sysinit

    

    # cat human_info.txt 

    # grep -v 'allen' human_info.txt

    # grep -o 'alex' human_info.txt 

    # grep -n 'alex' human_info.txt 

    # grep -A 1 'alex' human_info.txt

    # grep -B 1 'alex' human_info.txt

    # grep -C 1 'alex' human_info.txt

    

4.2、基本正则表达式

cat demo_info.txt 

abc

abcabc

abc edf

a,b,c

123

ABC

abc123  

    ## 集合

    # grep '[[:space:]]' demo_info.txt

    # grep '[[:punct:]]' demo_info.txt

    # grep '[[:upper:]]' demo_info.txt

    # grep '[[:lower:]]' demo_info.txt

    # grep '[[:digit:]]' demo_info.txt

    

    ## 数量词

    

    ## 位置锚定 (单词锚定)