awkで重複行の削除及びカウントを実施したい

Question

awkコマンドを用い、csvの中から重複した行を除外し、重複した件数が何件存在しているか確認できるコマンドはありますでしょうか？

例
sample.csv
以下の項目が存在
aaa
aaa
bbb
bac

上記の項目の中より、重複項目を除外し、且つ重複していた数を出力したいです

Comments

[Y.H.]

sample.csv の具体例を10行ほどまた、結果としてどういう結果が欲しいのかも具体歴に記載すると回答が得られやすいと思います。

Answer 1

順番そのままに重複削除

awk '{if($0 in hs){c++}else{hs[$0];print $0}}END{print c >"/dev/stderr"}' sample.csv >hoge.csv

Answer 2

こんな感じでどうですか？

!lines[$0]++ {
	print $0;
}

END {
	print "---";
	for (i in lines) if (lines[i] > 1) {
		print lines[i] " : " i;
	}
}

出力

aaa 
bbb 
bac
---
2 : aaa 

Comments

[Zuishin]

出力の説明をします。
--- 以前は、重複行(連続しているしていないに関わらず文中で複数現れる行)の二回目以降を削除したものです。
--- 以降は、「重複した回数 : 行の内容」です。

Answer 3

質問からはcsvがどう関係するのかわからないです。
**質問へのコメントを記載しました。

awk でやるならこんな感じです。
sample.txtの１カラム目の値で重複判定しています。重複数の出力はENDブロックで行っています。
$1を$2にすると2カラム目の値で重複判定します。

$ cat sample.txt
aaa,vvv1
wawa,www1
bbb,xxx1
aaa,yyy1
wawa,zzz1
bac,vvv1
wawa,www1

$ cat sample.txt |awk -F, '!colname[$1]++{print $0}END{print "\nduplicate column 1";for (i in colname){if (colname[i]>1) print i":"colname[i];}}'
aaa,vvv1
wawa,www1
bbb,xxx1
bac,vvv1

duplicate column 1
wawa:3
aaa:2

$ cat sample.txt |awk -F, '!colname[$2]++{print $0}END{print "\nduplicate column 2";for (i in colname){if (colname[i]>1) print i":"colname[i];}}'
aaa,vvv1
wawa,www1
bbb,xxx1
aaa,yyy1
wawa,zzz1

duplicate column 2
vvv1:2
www1:2

---

単に以下のようなtxtファイルから重複行を排除、重複した行の数を表示するなら
awkではなくsort uniqで可能です。

$ cat sample.txt
aaa
wawa
bbb
aaa
wawa
bac
wawa

重複を排除したのもの表示

$ sort sample.txt | uniq 
aaa
bac
bbb
wawa

重複行のカウントを表示

$ sort sample.txt  | uniq -d -c
      2 aaa
      3 wawa