「カンマで区切られた文字列をリスト化する、ただし""で囲まれた文字に含まれるカンマは区切り文字としては使用しない」としたときの解決方法について

Question

Pythonのコード上で、以下の文字列をリスト化しようと考えています

string = '"あいうえお, かきくけこ", "さしすせそ", aaaaa, "bbbbb, ccccc", ddddd, "たちつてと, eeeee", fffff, "わをん, xyz"'

当初はsplit(",")を試みましたが、その場合、""で囲まれた箇所のカンマ（例："あいうえお, かきくけこ"）も対象になってしまいます。
次にsplit("",")を試しましたが、その場合は、""で囲まれていない箇所のカンマ（例：aaaaa）が対象外になってしまいます。

あくまでも""で囲まれた範囲内のカンマは無視して、それ以外のカンマで区切ってリスト化したいと考えております。
最終的には、以下のようなリストを考えています。

list = [
    "あいうえお, かきくけこ",
    "さしすせそ",
    "aaaaa",
    "bbbbb, ccccc",
    "ddddd",
    "たちつてと, eeeee",
    "fffff",
    "わをん, xyz"
]

何か良い方法はありますでしょうか？

Comments

[Zuishin]

https://docs.python.org/ja/3/library/csv.html

これとか

https://pandas.pydata.org/

これとか。

[kay-ws]

面白そうなのでやってみましたが
標準ライブラリのCSVモジュールでは望みの結果がでませんでした。

import csv
str = '"あいうえお, かきくけこ", "さしすせそ", aaaaa, "bbbbb, ccccc", ddddd, "たちつてと, eeeee", fffff, "わをん, xyz"'
for row in csv.reader([str]):
for cell in row:
print(cell)
---
結果
あいうえお, かきくけこ
"さしすせそ"
aaaaa
"bbbbb
ccccc"
ddddd
"たちつてと
eeeee"
fffff
"わをん
xyz"

あいうえお, かきくけこだけうまくできているですね。よくわからないです。

[meg_]

> 当初はsplit(",")を試みましたが、
> 次にsplit("\",")を試しましたが、
単純な処理では無理です。文字列処理のみでやりたいならもっと工夫が必要です。

[bsdfan]

csvの仕様では、フィールド全体をダブルクォートで囲む必要があるので、今回の例文だとカンマの直後にスペースがあるため、ダブルクォートで囲まれている範囲を一つのフィールドと扱っていないのではないでしょうか。

[mayonezudaiou]

コメントありがとうございます。
他の方の回答にもありましたが、CSV, StringIO, skipinitialspace=Trueを使用することでうまくいきました

Answer 1

ええと、区切り文字の後の空白はpandasに処理させることができます(skipinitialspace=True)。

import pandas as pd
import io

string = '"あいうえお, かきくけこ", "さしすせそ", aaaaa, "bbbbb, ccccc", ddddd, "たちつてと, eeeee", fffff, "わをん, xyz"'

result = pd.read_csv(io.StringIO(string), header=None, skipinitialspace=True).values[0].tolist()
print(result)

['あいうえお, かきくけこ', 'さしすせそ', 'aaaaa', 'bbbbb, ccccc', 'ddddd', 'たちつてと, eeeee', 'fffff', 'わをん, xyz']

Comments

[mayonezudaiou]

回答ありがとうございました。skipinitialspace=Trueがキーだったようで、うまくいきました

Answer 2

pandasを使った変換方法です。
区切り文字の前後に半角スペースがあると正しくダブルクォーテーションによる引用符を判定できないため、
それを除去してからread_csvで読み込みリストに変換します。
ダブルクォーテーションに囲まれた文字間の区切り文字の半角スペースを除去しないようにするため、
正規表現置換でやや手こずり、二回かけて変換しています。

import pandas as pd
from io import StringIO
import re

s = '"あいうえお, かきくけこ", "さしすせそ", aaaaa, "bbbbb, ccccc", ddddd, "たちつてと, eeeee", fffff, "わをん, xyz"'
s = re.sub(r'("[^"]+",) ', r'\1', s)
s = re.sub(r'((?<!["&\w])[^"]+(?!["&\w]),) ', r'\1', s)
li = pd.read_csv(StringIO(s), header=None).T.values.tolist()

print(li)
# [['あいうえお, かきくけこ'], ['さしすせそ'], ['aaaaa'], ['bbbbb, ccccc'], ['ddddd'], ['たちつてと, eeeee'], ['fffff'], ['わをん, xyz']]

Comments

[mayonezudaiou]

回答ありがとうございました。正規表現を使った置換は私も毎回苦戦してます。
今回提示いただいた正規表現も（少し時間はかかりますが）自分の中で消化して理解しようと思います。
また、pandasは今まで使用してなかったので、これを機に少し調べてみます。