uniq
过滤/统计重复行
语法
uniq [选项] [输入文件] [输出文件]说明
uniq 用于从排序后的文本中过滤或统计重复行。只对相邻重复行生效，因此通常需要先 sort。
参数
-c每行前显示出现的次数
-d仅显示重复的行
-u仅显示不重复的行
-i比较时忽略大小写
示例
标准去重
先排序再去除重复行
sort file.txt | uniq统计重复次数
每行前面显示出现次数
sort access.log | uniq -c | sort -rn只显示重复行
列出出现了多次的内容
sort ids.txt | uniq -d只显示唯一行
找出只出现一次的行
sort emails.txt | uniq -u