Unixのファイルで重複した行を削除したい(sed)

Question

sort -uとuniqコマンドでは削除できるんですが、sedとかawkではできないでしょうか?

回答お待ちしています。

Answer 1

awk '!x[$0]++' file.txt

このコマンドを使ってください。

xは連想配列で、Awkがそこにファイルの行すべてをパスします。
ある行が配列に存在しなければ、x[$0]がfalseと評価します。
!はロジカルなNOT演算子で、falseをtrueに逆転させます。
Awkはその式がtrueと評価した行をプリントします。
++はxをインクリメントし、行が見つからなければx[$0] == 1、また見つからなければx[$0] == 2となっていきます。

また、0と" "(空のstring）だけはtrueと評価されません。
重複した行がxにある場合、!x[$0]がfalseと評価するためアウトプットには書かれません。