awkの文法を変えるとsedが正しく反映されなくなる

Question

###質問
awkの文法を変えたところ、sedが正しく反映されなくなりました。
パターン1と2は同じ処理を行うコマンドなのですが、プログラムの便宜上パターン2を使用したいです。
パターン2でsed '/^NA\t/d'が正しく反映されない原因と解決策を教えていただきたいです。
環境は、MacOS Kernel Version: Darwin 20.2.0、bash5.0を使用しています。
よろしくお願いいたします。

#####パターン1：sed '/^NA\t/d'が正しく反映される

$ cat test_result.csv | awk -F"," '{print $1"\t""NUMBER"}' | sort | uniq | sed '/^NA\t/d'

#####パターン2：sed '/^NA\t/d'が正しく反映されない

$ cat test_result.csv | awk -F"," -v hoge="NUMBER" '{print $1,"\t",hoge}' | sort | uniq | sed '/^NA\t/d'

###補足
ちなみに、sed '/^NA\t/d'をsed '/^NA/d'にするとパターン２でも正常な結果が帰ってくるのですが、これだと私が求めている結果と違う結果となってしまうため使用できません。

Comments

[Y.H.]

> これだと私が求めている結果と違う結果
具体的に、どういう結果を想定し、どういう結果になって、何か求めているものと異なるかを
質問に追記ください。

[candycorn]

補足失礼します。
awkでデータを以下のような形に加工しているのですが、この時”NA”の行のみを削除し、"NAME"の行は残したいです。

APPLE\tNUMBER
NA\t NUMBER
NAME\tNUMBER

よって、sed '/^NA\t/d'を使用する必要がありました。

Answer 1

仮に入力ファイルが次のようなものだとすると、

$ cat test_result.csv
1,AAAAA
2,BBBBB
3,CCCCC
NA,DDDDD
5,DDDDD

質問文の1番目の方法ではawkの出力は数字と"NUMBERの間はタブ文字のみですが、

$ cat test_result.csv | awk -F"," '{print $1"\t""NUMBER"}' | sort | uniq | sed '/^NA\t/d'
1       NUMBER
2       NUMBER
3       NUMBER
5       NUMBER

質問文の2番目の方法だと、タブ文字の後に空白文字が入ってしまっています。
よく見ると桁がずれてしまっています。
このprintでカンマを入れた際にフィールドとフィールドの間に入る空白文字は、OFSにデフォルトで空白文字が設定されていることによるものです。

$ cat test_result.csv | awk -F"," -v hoge="NUMBER" '{print $1,"\t",hoge}' | sort | uniq | sed '/^NA\t/d'
1        NUMBER
2        NUMBER
3        NUMBER
5        NUMBER
NA       NUMBER

1番目の出力と同じにするには、
(1) 「print $1 "\t" hoge」のようにカンマの代わりに空白文字を指定するか、(awkで空白文字は文字列の連結演算子です)

$ cat test_result.csv | awk -F"," -v hoge="NUMBER" '{print $1 "\t" hoge}' | sort | uniq | sed '/^NA\t/d'
1       NUMBER
2       NUMBER
3       NUMBER
5       NUMBER

(2) OFSを何もない文字列に設定するか(「-v OFS=""」オプション)、

$ cat test_result.csv | awk -F"," -v OFS="" -v hoge="NUMBER" '{print $1,"\t",hoge}' | sort | uniq | sed '/^NA\t/d'
1       NUMBER
2       NUMBER
3       NUMBER
5       NUMBER

(3) 単純にくっつけて指定する「print $1"\t"hoge」、などの方法があります。

$ cat test_result.csv | awk -F"," -v hoge="NUMBER" '{print $1"\t"hoge}' | sort | uniq | sed '/^NA\t/d'
1       NUMBER
2       NUMBER
3       NUMBER
5       NUMBER

Answer 2

awkの文法を変えたところ、sedが正しく反映されなくなりました。

文法を変えているだけでなく、処理内容も変えているからです。
前者と後者で、awkが出力するものが異なっています。

{print $1,"\t",hoge}'だと、$1,"\t",hoge それぞれの出力の間に半角空白が出力されます。
よって、^NA\tではマッチしません。^NA \tにする必要があります。

$ echo "001,002" | awk -F"," '{print $1"\t""b";}'
001     b
$ echo "001,002" | awk -F"," '{print $1,"\t","b";}'
001      b

これ↓じゃダメなの？

$ cat test_result.csv | awk -F"," -v hoge="NUMBER" '{print $1"\t"hoge}' | sort | uniq | sed '/^NA\t/d'

Comments

[candycorn]

提示していただいた内容で求めていた結果を得ることができました。ありがとうございます。
後者で半角空白が出力されていたことに気が付きませんでした^^;