awkコマンド：カラム数の調査方法

Question

http://yamatatsu-blog.hatenablog.com/entry/2017/02/20/232819

上記サイトの、「ダブルクォートでカンマをエスケープしているCSVの場合」より、
csvファイルのカラム数を調査しようと考えております。

csvファイル

"aaa","bbb","ccc"
"ddd","eee","fff"
"ggg","hhh","iii"
"jjj","kkk","lll,mmm"

この時上記csvファイルが例になっており、コマンドが下記のように記載がございます。

$ awk -F'","' '{print NF}' < sample.csv | uniq | wc -l
-> 1

こちらについて、csvファイル４行目に記載のある、"lll,mmm"については、
例外として扱いたく、"～～,～～"の間に、「,」が入っていた場合はカラム数を増やすようにしたいです。
こちらはどのようなawkコマンドでカラム数を増やし、例外と扱うことができますでしょうか？

Comments

[Zuishin]

複雑な CSV を awk で扱うのはただの無意味な苦行(あるいはパズル)です。csvtool など別な方法の提案があると思いますから、それを採用してください。

[ttoo]

csvtoolはなんですか？

[hidezzz]

フィールド数計算の対象にする「,」と対象としない「,」の区別の基準について明確にしてください。
質問文の内容だと結果的に「"」の有無に関わらず「,」をフィールド数計算の対象とすればいいので、
「^F,」のようにして単純にすべての「,」をフィールド数計算の対象とすれば良いように思えます。

Answer 1

「ダブルクォートでカンマをエスケープしているCSVの場合」より、

csvファイルのカラム数を調査しようと考えております。

全カラムがダブルクォートで囲まれているなら、カンマは無視して、ダブルクォートの数を数えて２で割れば良いです。

awk -F\" '{print (NF-1)/2}'

Comments

[otn]

データの中にダブルクォートがエスケープされて埋め込まれているということでない限り、という条件がありますが。

Answer 2

"lll,mmm"をひとつのデータとして読み込みたいのであれば、csvtoolなどのツール類を使って貰うとして、今回は「,で機械的に分けると何カラムになるか知りたい」のですよね。

$ awk -F, '{print NF}' sample.csv | sort -u | wc -l
2

のように、,だけをフィールドセパレーターに指定すればいいのでは。

ちなみに、uniqでバリエーションを数えるならソートが必須です。