美文网首页Linux
awk去重以某列重复的行

awk去重以某列重复的行

作者: BINBINCC | 来源:发表于2021-04-21 14:37 被阅读0次
[root@localhost cc]$ cat 2.txt
adc 3 5
a d a
a 3 adf
a d b
a 3 adf

去重第一列重复的行:

[root@localhost cc]$ cat 2.txt |awk '!a[$1]++{print}'
adc 3 5
a d a

重复的行取最上面一行记录

去重以第一列和第二列重复的行:

[root@localhost cc]$ cat 2.txt |awk '!a[$1" "$2]++{print}'
adc 3 5
a d a
a 3 adf

去除重复的行:

[root@localhost cc]$ cat 2.txt |awk '!a[$0]++{print}'
adc 3 5
a d a
a 3 adf
a d b

只显示重复行:

[root@localhost cc]$ cat 2.txt |awk 'a[$0]++{print}'
a 3 adf

相关文章

  • awk去重以某列重复的行

    去重第一列重复的行: 重复的行取最上面一行记录 去重以第一列和第二列重复的行: 去除重复的行: 只显示重复行:

  • 【awk】笔记

    1.按照指定的列去除重复 awk '!a[$1]++' file awk ‘! a[$0]++’ 去重 上述命令的...

  • 四剑客-awk

    .1 awk概述 2 .awk 行与列 1) 取行 2) 取列 3) 综合 取行与取列 综合应用 : 找出ifco...

  • awk常用基础命令(ing)

    Awk 1. 打印文件的某列: awk '{print $2}' handdata注:handdata为文件名,...

  • 【awk】 '!a[$0]++'去重原理分析

    原文 很多人都知道awk '!a[$0]++' file可以去除文本中重复的行,但是对其到底是如何去重的却不是很清...

  • 【awk】输出和过滤重复行【转载】

    转载自AWK 输出重复的行 去掉重复的行 其主要的原理,是利用AWK的类似字典的a, 用每一行的内容作为索引,如果...

  • java Lambda List集合重复数据获取实现

    Map列表,对其中多个列进行分组,判断重复的实现 指定去重的列 按照指定的列分组 获取重复的key

  • day19-三剑客awk

    ※三剑客之awk 下图是awk的执行过程 1.取行------>NR== 2.取列------->1第一列2第二列...

  • Linux的awk命令

    awk将一行内容称为一条记录,将用指定分隔符分隔的列称为域;awk一般以空格作为域分隔符,以\n作为记录分隔符;a...

  • 【awk】用awk去重

    展示第一列 根据第一列去重,并展示第一列 根据第一列去重,并展示所有列 打印你最常用的命令

网友评论

    本文标题:awk去重以某列重复的行

    本文链接:https://www.haomeiwen.com/subject/lwqzlltx.html