Linuxテキスト処理uniq
sort -u

uniqテキスト処理

wc

連続する重複行を削除します。

構文

uniq [OPTION]... [INPUT [OUTPUT]]