【linux编程】Linux文本处理三剑客——grep

grep为匹配“关键字”的行

下载练习数据

拟南芥注释文件

ftp://ftp.arabidopsis.org/home/tair/Genes/TAIR10_genome_release/TAIR10_gff3/TAIR10_GFF3_genes.gff

# 为方便练习，重命名文件
cp TAIR10_GFF3_genes.gff gene.gff

查看内容

less -SN gene.gff
   1 Chr1    TAIR10  chromosome      1       30427671        .       .       .       ID=Chr1;N
      2 Chr1    TAIR10  gene    3631    5899    .       +       .       ID=AT1G01010;Note=protein
      3 Chr1    TAIR10  mRNA    3631    5899    .       +       .       ID=AT1G01010.1;Parent=AT1
      4 Chr1    TAIR10  protein 3760    5630    .       +       .       ID=AT1G01010.1-Protein;Na

统计染色体数量

leadingsci@DELL5577:~/Test$ cut -f 1 gene.gff |sort -u
Chr1
Chr2
Chr3
Chr4
Chr5
ChrC
ChrM

查看各基因的染色体数量

“^” 匹配该字符开头的行
grep -c 统计含有“gene”的行数

$i 依次代表 Chr1、Chr2、Chr3、Chr4、Chr5、ChrC 和 ChrM。

leadingsci@DELL5577:~/Test$ grep "^ChrM" gene.gff |grep -c "gene"
146

# 或者使用循环

leadingsci@DELL5577:~/Test$ for i in Chr1 Chr2 Chr3 Chr4 Chr5 ChrC ChrM; do grep "^$i" gene.gff |
grep -c "gene"; done
9117
6343
7610
5851
8313
133
146

打印含有“关键字” 的文件名

参数 -l 的作用是：如果文件中含有以 Chr1 开头的行（至少一行），则将文件名打印出来

leadingsci@DELL5577:~/Test$ grep -l "^Chr1" gene.gff
gene.gff

当前目录下含有“关键字”的文件名

leadingsci@DELL5577:~/Test$ for i in $(ls);do grep -l "Chr1" $i;done
gene.gff
TAIR10_GFF3_genes.gff

参数 -i 来忽略大小写：

leadingsci@DELL5577:~/Test$ for i in $(ls);do grep -l -i "^Chr1" $i;done
gene.gff
TAIR10_GFF3_genes.gff

去除空白行

^$ 表示空白行，-v 则表示反向匹配，即将非空白行取出来。

^$ 为什么表示空白行，则可以理解：^ 表示匹配行首，$ 则表示匹配行尾，它们这样组合则表示行首和行尾之间什么都没有，那就是空白行了。

leadingsci@DELL5577:~/Test$ grep -v "^$" gene.gff |head -n 4
Chr1    TAIR10  chromosome      1       30427671        .       .       .       ID=Chr1;Name=Chr1
Chr1    TAIR10  gene    3631    5899    .       +       .       ID=AT1G01010;Note=protein_coding_gene;Name=AT1G01010
Chr1    TAIR10  mRNA    3631    5899    .       +       .       ID=AT1G01010.1;Parent=AT1G01010;Name=AT1G01010.1;Index=1
Chr1    TAIR10  protein 3760    5630    .       +       .       ID=AT1G01010.1-Protein;Name=AT1G01010.1;Derives_from=AT1G01010.1

生成染色体

leadingsci@DELL5577:~/Test$ cut -f 1 gene.gff |sort -u |tee -a chr.txt
Chr1
Chr2
Chr3
Chr4
Chr5
ChrC
ChrM

正则表达式

单匹配

> 表示“词尾锚定”，即限定右边的边界。

leadingsci@DELL5577:~/Test$ grep "Chr1" chr.txt
Chr1
Chr10

# 如果不想匹配到Chr10

leadingsci@DELL5577:~/Test$ grep "Chr1\>" chr.txt

匹配单字符

选择其中一个字符进行匹配

leadingsci@DELL5577:~/Test$ grep "Chr[23]" chr.txt
Chr2
Chr3

匹配范围

leadingsci@DELL5577:~/Test$ grep "Chr[2-4]" chr.txt
Chr2
Chr3
Chr4

则表示把不含有 chr2 到 chr6 关键字其他行取出来

其中的 ^ 表示 非，而不是表示匹配行首。

leadingsci@DELL5577:~/Test$ grep "Chr[^2-4]" chr.txt
Chr1
Chr5
ChrC
ChrM

# 或者
leadingsci@DELL5577:~/Test$ grep -v "Chr[2-4]" chr.txt
Chr1
Chr5
ChrC
ChrM