sortコマンドで-uオプションを使用時、NULLや0の行を削除させない

Question

sortコマンドの-uオプションを使用して並び替えた後に重複する値を削除しようとしています。
並び替えも重複削除も以下でできているのですが、0やNULLの行は1行も残らず消えてしまいます。

sort --numeric-sort -u test.log -o test.log

id age
3   10
0   0
3   10
0   0
0   1
1   0
4   1
4   1
NULL NULL
2   2
2   2

id age
0   1
2   2
3   10
4   1

id age
NULL NULL
0   0
0   1
1   0
2   2
3   10
4   1

sort時のオプション-uを使用せず、uniqでもやってみたのですが結果は同じでした。(uniq test.log)
どうしたら0やNULLも出力される様になるのでしょうか？

Answer 1

理由はよくわからないけど以下にしたらできた。

ということなので、理由を回答します。

その前に、手元の環境(gnu-sortとFreeBSD sort)で試すと、どちらも、

id age
1   0
2   2
3   10
4   1

ですね。0の行は残りません。
0の行が残るというのは、どういうOSでどういうsortを実行したのでしょうか？
おそらく、コピペミスで、実際には0の行は残ってない？

ここからが、「理由」です。
--numeric-sortは「文字列を数値とみなして比較する」なので（数値でない文字以降は無視される）、
入力行(-kオプションが無いので行全体がキー)はそれぞれ、

入力行	見なされる数値
id age	0
3 10	3
0 0	0
3 10	3
0 0	0
0 1	0
1 0	1
4 1	4
4 1	4
NULL NULL	0
2 2	2
2 2	2

という数値として見なされ、「見なされる数値」がユニークになるように行が選択され、数値が同じ他の行は捨てられます。

--numeric-sortを付けないと、行全体が一致したものが1つだけになります。

ということで、「何故--numeric-sortを付けたの？？」ということですね。

Comments

[_ringo]

ご回答いただいきありがとうございます。
--numeric-sortの意味をきちんと理解できていませんでした。
ありがとうございます。

Answer 2

理由はよくわからないけど以下にしたらできた。

sort -u test.log -o test.log

Comments

[melian]

GNU coreutils の sort コマンドには version sort というオプションがあります。ただ、ヘッダ行や NULL 行は最後に置かれます。

$ sort -V -u test.log
0 0
0 1
1 0
2 2
3 10
4 1
NULL NULL
id age