文件为:
a|+|123|+|0|+|-|
b|+|222|+|1|+|-|
c|+|222|+|0|+|-|
a|+|123|+|0|+|-|
a|+|123|+|0|+|-|
c|+|222|+|0|+|-|
根据第一个域和第二个域排重,并把重复的记录写入临时文件
a|+|123|+|0|+|-|
a|+|123|+|0|+|-|
a|+|123|+|0|+|-|
c|+|222|+|0|+|-|
c|+|222|+|0|+|-|
文件为:
a|+|123|+|0|+|-|
b|+|222|+|1|+|-|
c|+|222|+|0|+|-|
a|+|123|+|0|+|-|
a|+|123|+|0|+|-|
c|+|222|+|0|+|-|
根据第一个域和第二个域排重,并把重复的记录写入临时文件
a|+|123|+|0|+|-|
a|+|123|+|0|+|-|
a|+|123|+|0|+|-|
c|+|222|+|0|+|-|
c|+|222|+|0|+|-|
sort test.txt -k1,2 | uniq -d > repeat.txt
前面是对文件进行排序,后面是去重并将有重复的行重定向到repeat.txt文件中