Python で　文字列をlistにしたい

前提・実現したいこと

csvファイルに入っている文字列をlist化したいです。

該当のソースコード

python
1    df = pd.read_csv(
2        "df.csv", converters={"columns": ast.literal_eval}
3    )

発生している問題・エラーメッセージ

eval　を使用した場合

NameError: name 'nan' is not defined

ast.literal_eval を使用した場合

ValueError: malformed node or string

試したこと

いくつかの文字列操作のモジュールやjson.loadsも試しましたがうまくいきませんでした。

補足情報（FW/ツールのバージョンなど）

csvは以下のようになっています

id,columns
xxxx,"['aaa','bbb','ccc'.....,'zzz']"
xxxx,"['.....
....

ご教授お願いします。

行動規範の内容に同意します

回答3件

csvモジュールはダブルクオーテーションを正しく扱えるはずということで試してみました。

python
1import csv
2
3with open('test.csv', mode='r') as f:
4    cr = csv.DictReader(f)
5    for row in cr:
6        row['columns_list'] = eval(row['columns'])
7        print(row)

結果

text
1
2import csv...
3{'id': 'xxxx', 'columns': "['aaa','bbb','ccc']", 'columns_list': ['aaa', 'bbb', 'ccc']}
4{'id': 'yyyy', 'columns': "['xxx','yyy','zzz']", 'columns_list': ['xxx', 'yyy', 'zzz']}

csvファイル
id,columns
xxxx,"['aaa','bbb','ccc']"
yyyy,"['xxx','yyy','zzz']"


columnsカラムには、必ずpythonとして解釈できる表現の文字列が入っていて、危険が無いということを前提としてevalを使っています。
もし、evalできないような文字列("nan"など)が入る可能性があるのであれば、変換前にチェックが必要でしょう。

投稿2020/12/13 12:07

TakaiY

総合スコア12765

str.split()関数は、第二引数で分割領域を制御できます。
下記により、第1カンマ以前を前半部とし、残りを後半部として分割できます。

（下記はcsvデータのエンコーディングがUTF-8であることが前提です）

ただしevalは、不正なデータが入っているとそのまま実行され、セキュリティリスクにつながりますので、
信頼できるデータでなければ使わない方がいいです。

ret=[]
for line in open("df.csv", mode="r", encoding="utf-8"):
    section = line.split(",", 1)
    if section[1] == 'columns\n':
        continue
    ret.append(eval(section[1].strip("\"\n").strip("\")))
    
for r in ret:
    print(r)

投稿2020/12/13 09:17

編集2020/12/13 09:19