シェルスクリプトでCSVファイルのフィールドを出力したい

Question

前提

シェルスクリプトでCSVファイルを読み込み、awkコマンドで各フィールドを出力したいのですがうまくいきません。
上記についてアドバイスをいただきたく、お手数をおかけしますがよろしくお願いします。

○読み込むCSVファイルの形式
対象のファイルは,で区切られていますが各フィールドの要素は"で囲われています。
"データ①","データ②","データ③","データ④"

発生している問題・エラーメッセージ

一部のデータに「,」含まれている場合があり、
そのようなデータを処理した場合にデータの出力がずれてしまいます。

実現したいこと

データの中に「,」が含まれてしまうことは避けれないので、
awkで「",」を区切り文字としてデータを分割したいと考えております。

該当のソースコード

#!/bin/bash

for file in `\find ./log/ -name '*.csv'`; do
	cat $file | awk 'BEGIN{FS="","}{print $1,$4}'  >> Output.csv
	#以下の書き方でもうまくいきませんでした。
	#cat $file | awk -F '",' -v OFS=","  ' {print $1,$4}'  >> Output.csv
done

以上です。よろしくお願いします。

Comments

[melian]

> 「",」を区切り文字としてデータを分割したい

こちらで処理すると、

cat $file | awk -F '",' -v OFS="," ' {print $1,$4}'

以下の様に出力されます。

"データ①,"データ④"

実際には、「データ①,データ④」の様にダブルクォートを除去して出力したいのではないでしょうか？

[siroutouser]

コメントをいただきありがとうございます。
上記ご認識の通りです。
「データ①,データ④」の様にダブルクォートを除去して出力したいです。

Answer 1

awk -F '","|^"|"$' '{print $2}'でも可能ですが、番号が1つずれます。第1項が$2。

Comments

[siroutouser]

コメントをありがとうございます。
上記では意図した動作にかなり近い動きとなりました。
今時点で列がずれている問題にぶつかっているのですが、-Fの部分を調整することでうまく対処できそうな感じがしました。

※,,,,のようなデータがおかしくなっているような感じがしています。

[otn]

> 各フィールドの要素は"で囲われています。
という前提に基づいた回答です。
この前提が正しければ、
,,,
のような、区切りのカンマの連続は、あり得ないのですが、（,"", のように空を引用符で囲んだ物になるはず）
> 各フィールドの要素は"で囲われています。
という前提が間違っていたと言うことでしょうかね。

[otn]

引用符に囲まれない要素、引用符に囲まれない空もあるなら、セパレーターだけの指定では無理なので、
FPATを使って、
gawk -v FPAT='"[^"]*"|[^,]*'
でしょうか。

[siroutouser]

遅い時間までありがとうございました。
上記いただいたFPATの指定で動作させることができました。

また、前提条件が見たがっており大変申し訳ありませんでした。
フィールドが空のものについては””はありませんでした。

[siroutouser]

上記の補足です。

最終的にcsvで吐き出す際にフィールド内に「,」がある場合は、別のツールなどで読み込む際に区切り文字として認識されるので、ご教示いただいたgawkの後に「,」が含まれるフィールドについて「,」→「，（全角）」にして最終対応しました。

cat $file | gawk -v FPAT='("[^"]*")|([^,]*)' 'OFS="," { gsub(/,/ , "，", $2); print $1,$2,$3,$4}' | sed -e 's/\"//g' | nkf -Ws >> Output.csv

Answer 2

BEGIN{FS="","}

まずこれは文法的に間違っています。FS="\","のようにエスケープが必要です。

また、前後に余計な引用符がくっついたままになるので、これを必要に応じて除去する処理が必要です。

gnu awkだと、組み込み変数FPATというのを使えば楽に解決できるようです。

gawk -v FPAT='([^,]+)|(\"[^\"]+\")' '{print $1,$4}'

Comments

[siroutouser]

コメントをありがとうございます。
CSVの仕様で,を含むフィールドがある場合は""で区切るということを初めて知りました。
その上でgawkが有効だと思いました。

ただ、以下のようにコマンドを修正して実行したところ,,,,のような空白行をうまく処理できず、列がずれて表示される課題にぶつかりました。

cat $file | gawk -v FPAT='(,?[\"\"])|([^,]+)|(\"[^\"]+\")' 'OFS="," {print $1,$4}' | sed -e 's/\"//g' >>　Output.csv