Routinely uniq
uniqコマンドのオプション
さまざまな事情でuniqコマンドにはお世話になっている。
多くはsortコマンドと共に、sort -uというsortしたのちにuniqするという。
それ以外の便利な使い方に長年気づいてなかったが、以前、uniq -cで重複して出てきた回数を集計できることを知って記録にも残していた。
これまでわざわざPerlのコード使ってきた重複エントリのカウントの件。uniq -c と sort -rn
— トクニンティヌス＠下り坂46（ニンキアリ） (@bonohu) March 23, 2018
の組み合わせでものすごく簡単に解決することが判明
今回さらにuniq -dで重複したエントリだけを抽出するという技を覚えた。
二つのファイルをcatしてその出現回数を見て、2回のものだけ取り出すという、回りくどいやり方をしていた。
ただ、この場合二つのファイルを結合する際にはsortしたのちにuniq -dしないといけないということに注意が必要。
uniqコマンドについて詳しくまとめました 【Linuxコマンド集】というブログが大変参考になった。 これによるともっと高度な集計もできそうだが、今のところは使わないですみそうなレベル。 有用な情報をまとめて公開していただき、ありがとうございました。
ちなみに、英語タイトルはこちらのオマージュ。
「データ解析のやり方は毎度同じということはない」毎度やってて思うこと。ちょっとした応用をきかせることが必要なんですよね / “Routinely Unique” https://t.co/6upmrB6N84
— トクニンティヌス＠下り坂46（ニンキアリ） (@bonohu) July 27, 2021
（2022年3月2日追記）
uniq -uで重複がなかったエントリだけ抽出も２つのIDファイルの特徴を知るのに便利だった。
ただ、入力する前のその2つのファイルで重複がある場合にはsort -uで除いておかないとハマる。