Python csv内のダブルクォーテーションで囲まれたフィールドの中の 『エスケープされていないダブルクォーテーション』をエスケープしたい

Question

ある取引先から連携されたCSVをAWSのAthenaで取り扱いたいのですが、タイトルにあるように

csv内のダブルクォーテーションで囲まれたフィールドの中の　『エスケープされていないダブルクォーテーション』が原因で
ただしく、フィールドが認識できず困っています。
(取引先ではCOBOLによってCSVを生成しているらしく、上記は仕様のため変更不可らしいので、こちらで変換するしかありません)

そこでpythonでCSVを処理して、望ましい形（”が\でエスケープされた）CSVに変換したいのですが、
うまく出来ず、ご教授いただけましたら幸いです。

実現したいこととしては、
下記１．のような元データのCSVを
下記４．のような望ましい形式のCSVに変換することです

１．元データのCSVのイメージ'imput.csv'

1,2,3,"問題箇所"",123,"E"

２．試したスクリプト

import csv
from csv import reader, writer

with open('input.csv', encoding="utf-8") as fin:
    with open('output.csv', "w", encoding="utf-8", newline='') as fout:
        wt = writer(
                fout,
                delimiter=',',  # 区切り文字をカンマで指定
                quotechar='"',  # 囲い文字をダブルクォーテーションで指定
                escapechar='\\', # escape文字を指定
                quoting=csv.QUOTE_MINIMAL # クオート
                )   
       
       
        for row in reader(
                            fin,
                            delimiter=',',  # 区切り文字をカンマで指定
                            quotechar='"',  # 囲い文字をダブルクォーテーションで指定
                            quoting=csv.QUOTE_MINIMAL # クオート
                            ):
            output_row = []
            for col in row:
                output_row.append(str(col))
            wt.writerow(output_row)

３．上記スクリプトの処理結果（失敗）'output.csv'

1,2,3,"問題箇所"",123,E"""

※問題箇所の後ろの”がエスケープされてしまい、Eの後ろの”もエスケープされて、『問題箇所",123,E"』という一つのフィールドとして
認識されてしまっている。

４．望ましいCSVのイメージ

1,2,3,"問題箇所\"",123,"E"

Answer 1

一応、CSV reader/writer の双方に doublequote=False を指定すると望ましい結果に近い出力を得ることができます。

import csv
from csv import reader, writer

with open('input.csv', encoding="utf-8") as fin:
    with open('output.csv', "w", encoding="utf-8", newline='') as fout:
        wt = writer(
                fout,
                delimiter=',',  # 区切り文字をカンマで指定
                quotechar='"',  # 囲い文字をダブルクォーテーションで指定
                escapechar='\\', # escape文字を指定
                quoting=csv.QUOTE_NONNUMERIC, # クオート
                doublequote=False,
                )
        n = 0
        created_at = ""
        for row in reader(
                            fin,
                            delimiter=',',  # 区切り文字をカンマで指定
                            quotechar='"',  # 囲い文字をダブルクォーテーションで指定
                            doublequote=False,
                            ):
            output_row = []
            for col in row:
                output_row.append(col)
            wt.writerow(output_row)

output.csv

"1","2","3","問題箇所\"","123","E"

なお、CSV reader にも quoting=csv.QUOTE_NONNUMERIC を付けると、仕様によって float 型のインスタンスに変更されてしまいます。

1.0,2.0,3.0,"問題箇所\"",123.0,"E"

Comments

[DelphiumG]

ご回答ありがとうございます！

>一応、CSV reader/writer の双方に doublequote=False を指定すると望ましい結果に近い出力を得ることがで>きます。

なるほどです！！　CSVライブラリでも設定次第で、該当CSVを処理することもできるのですね！！
回答いただきましたスクリプトを試したところ、
確かに望んだ結果近い内容になっていることが確認出来ました！！

CSV writer,reader のパラメータによる動作の違いについて　理解を深めることができました。

ありがごうとざいました。

Answer 2

CSVライブラリは、正しい書式のCSVファイルしか読めないので、間違った形式のファイルを読むのは無理でしょう。

カジュアルには、正規表現で「前後どちらも[カンマ,行頭,行末]でない二重引用符」をエスケープするという前処理をしてファイルを作り直せば多くの場合は良いと思いますが、

import re
a = '1,2,3,"問題箇所"",123,"E"'
# 先頭・末尾にカンマを付加して後でそれを取り除く
b = re.sub('(?<!,)"(?!,)', r'\"', f",{a},")
print(b[1:-1])

または、改行込みの場合は、

a = '1,2,3,"問題箇所"",123,"E"\n'
# 先頭にカンマを付加して後でそれを取り除く
b = re.sub('(?<!,)"(?![,\n])', r'\"', f",{a}")
print(b[1:])

それで駄目なデータもある場合は、先頭から1文字ずつ、今は引用符の中なのか外なのかを把握しながら、見ていくしか無いでしょうね。間違った形式にも対応したCSVパーサーを自分で書くという事です。

Comments

[DelphiumG]

迅速なご対応、ありがとうございます！！

＞CSVライブラリは、正しい書式のCSVファイルしか読めない

なるほどです。このような場合、CSVライブラリは使えないのですね！！　

＞正規表現で「前後どちらも[カンマ,行頭,行末]でない二重引用符」をエスケープするという前処理

やはりこのような場合は、正規表現による変換を使うわけですね。
『否定後読み』、『否定先読み』　をつかって、ヒットした、『”』を
エスケープした文字に置き換えるということですね。

大変勉強になりました。

ベストアンサーとさせていただきました。

今回は改行込のCSVのため、後者のスクリプトを利用して下記のようにスクリプトを
修正したらうまく変換できました。

```python
with open('input_csv', 'r') as fin:
with open('output_qiita_new.csv', "w", encoding="utf-8", newline='') as fout:
file_data = fin.readlines()
for row in file_data:

# 先頭にカンマを付加して後でそれを取り除く
new_row = re.sub('(?<!,)"(?![,\n])', r'\"', f",{row}")

fout.write(new_row[1:])
```