正規表現でダブルクォーテーションで括られた文字列内のダブルクォーテーションの検索方法

Question

正規表現を用いて、CSVデータ内に括り文字以外のダブルクォーテーションを検索したいのですが
どのように表現すれば良いかご掲示頂けないでしょうか。
（言語はC#での開発を予定していますが、まずは秀丸エディタなどのテキストエディタで検索できれば。と考えております）

例）以下のようなCSVデータの場合２行目を検索したい
123, "abc", "123abc"
456, "def", "456"def"　←検索対象
789, "ghi", "789,ghi"

また、上記が可能な場合、さらに発展してエスケープされているダブルクォーテーションを除外する
正規表現の指定は可能でしょうか？

例）以下の２行目は検索対象となるが、３行目は対象外となる
123, "abc", ""
456, "def", "456"d"ef"　←検索対象
789, "ghi", "78""9""ghi"　←検索対象外

Comments

[nukasa]

CSVとして、ダブルクォーテーションがエスケープされた状態と、エスケープされていない状態が混在するのはおかしいです。ダブルクォーテーションをエスケープしないという仕様であれば、カラムの途中にダブルクォーテーションが出てきたら、そこでカラムの終端と解釈する、すなわち、ダブルクォーテーションはカラムの内部に出現してはならないというのがルールです。

もし、当該CSVの仕様として、ダブルクォーテーションはエスケープするとなっているのであれば、
456, "def", "456"d"ef"　←検索対象
は、パーズエラーにならなければおかしいです。

Answer 1

以下で使用している正規表現ライブラリは PCRE(Perl Compatible Regular Expressions)です。また、直接的な正規表現ではなく、スタンダードな CSV 行に適合する正規表現にはマッチしない行を抽出しています。

$ grep --version
grep (GNU grep) 3.7
$ grep --help | grep -E -- '(-P|-v),'
  -P, --perl-regexp         PATTERNS are Perl regular expressions
  -v, --invert-match        select non-matching lines

$ grep -Pv '^(?:(?:[^",]*+|"(?:[^"]*+|"")*"),\s*)*(?:(?:[^",]*+|"(?:[^"]*+|"")*"))$' <<'EOD'
123, "abc", "123abc"
456, "def", "456"def"
789, "ghi", "789,ghi"
EOD
456, "def", "456"def"

$ grep -Pv '^(?:(?:[^",]*+|"(?:[^"]*+|"")*"),\s*)*(?:(?:[^",]*+|"(?:[^"]*+|"")*"))$' <<'EOD'
123, "abc", ""
456, "def", "456"d"ef"
789, "ghi", "78""9""ghi"
EOD
456, "def", "456"d"ef"

また、上記が可能な場合、さらに発展してエスケープされているダブルクォーテーションを除外する正規表現の指定は可能でしょうか？

正規表現に \G(match previous matching point) が使えるのであれば可能かもしれません。

Comments

[k2xx]

melian様
コメント有難う御座います。

1件目のコメントで頂戴しておりましたotn様への返答コメントでも記載しておりますが
CSVとして正しい形式か否かをチェックする術を探していた為、ご提示頂いた正規表現の内容で、要件を完全な形で満たすことが出来そうです。

※本サイトの趣旨的には、こちらの質問の内容に対する技術的なアプローチとして、otn様の正規表現内容がより質問への直接的な回答のように感じられた為、大変恐縮ながらベストアンサーはotn様のコメントとさせて頂きましたが、お二方に頂戴したそれぞれを実装に落とし込んで見たいと思います。

Answer 2

正しいCSV形式か、不正なCSV形式かの判断だけであれば正規表現で出来ますが、
不正の原因である"の特定や削除はプログラムのロジックでないと無理だと思います。CSVのパーサーを書くみたいな。

追記

「前に奇数個の"があり、後ろに" , 末尾 が続かない"」という条件だと出来ますね。

data = [
'123, "abc", "123abc"',
'456, "def", "456"def", "aaaa"xxxx"',
'789, "ghi", "aaa,""xxxx", "789,ghi"'
]

data.each do |s|
    p s.gsub(/^[^"]*"[^"]*(?:"[^"]*"[^"]*)*?\K"(?!\s*(?:[",]|$))/,"")
end

この条件だけで目的にかなうのかは不明。
1行に複数個の不正"があっても1つ目しか置換されないので、置換が発生した場合は再度実行する必要があります。

Comments

[k2xx]

コメントありがとうございます。　やはり難しいですかね。。
各所で事例を検索して見つからなかったので、正規表現での検出は難しいかも。と半ば諦めつつ、最後の拠り所としてこちらに質問を投稿させて頂いた次第です。

他に妙案的なコメントを頂けることを僅かながらに期待しつつ、数日程コメントが付かない場合は、本質問はクローズさせて頂きたいと思います。

なお、TextFieldParserやCsvHelperなどのライブラリを用いることで、読み込んだ各データ行ごとにエスケープされていないダブルクォーテーションのようなCSV規約違反となる行が存在した場合、ライブラリの仕様としてエラーとしてハンドリングしてくれることは確認済みなので、正規表現での対応が難しい場合は当該手段でバリデータの処理を実装する予定で検討しております。

[otn]

ちょっと考えてみます。

[k2xx]

otn様
再度コメント頂き有難う御座います。

担当顧客が使用しているシステムにおいて、CSVデータを取り込む機能があるのですが、バリデータの処理が甘く、できるだけコストをかけない簡易的な方法で事前チェックする外的手段を検討していたのですが、ご提示頂いた正規表現の内容でほぼ要件を満たせそうです。

現状は未だ、正規表現の動作を確認する各種サイト様での検証しかしておりませんが、手元の環境で動作できる内容に落とし込むことを検討してみます。

この度は貴重なお知恵を頂き有難う御座いました。