Python 3 テキストファイルから読み込んだデータを辞書型の要素を持つリスト型の変数に代入したい

Question

前提・実現したいこと

Python 3です。
1行にリスト型の形式で記載したデータのテキストファイルがあります。
一つ一つの要素は全て辞書型となるように記載しています。
出来ればこのまま単純にデータを読み込んで、全ての要素が辞書型となる
リスト型の変数に代入したいです。

例：sample.txt

[{"id": "3", "name": "Jone", "age": "23"}, {"id": "1", "name": "Anne", "age": "17"}, {"id": "2", "name": "Ken", "age": "21"}]

発生している問題・エラーメッセージ

テキストファイルからread()関数で読み込むと、読み込んだデータは文字列型となるため、
変数に代入しても要素の一つ一つが辞書型にはなりません。

該当のソースコード

sample_txt = "sample.txt"
data_list = []

with open(sample_txt, "r") as f:
    data_list = f.read()

試したこと

データの前後に付いている　'['　と　']'　を取り除き、{}単位で要素をsplit関数で分割して
リスト型の変数に代入しましたが、一つ一つの要素を辞書型に変換できません。

with open(sample_txt, "r") as f:
    line = f.read()
    line_str = line.replace("[", "").replace("]", "").replace("},", "}},")
    data_list = re.split(r"},", line_str)

Answer 1

ast.literal_evalを使うと一発で出来ます。

from ast import literal_eval
from pprint import pprint

text = r'[{"id": "3", "name": "Jone", "age": "23"}, {"id": "1", "name": "Anne", "age": "17"}, {"id": "2", "name": "Ken", "age": "21"}]'
lst = literal_eval(text)

pprint(lst)
print(type(lst), type(lst[0]))

実行結果 Wandbox

[{'age': '23', 'id': '3', 'name': 'Jone'},
 {'age': '17', 'id': '1', 'name': 'Anne'},
 {'age': '21', 'id': '2', 'name': 'Ken'}]
<class 'list'> <class 'dict'>

Comments

[8524ba23]

tuple,list,dict,setなど各型に対応しているので、json.loadsよりも汎用性がありますね。

[khaii21]

ご教授ありがとうございます。
やりたい事がイメージ通り叶いました。

Answer 2

こういうときはjson.loadsが便利です。
文字列をjson形式とみなしてPythonオブジェクトに変換できます。

追記

今回のケースではjson.loadsでも可能ですが、tuple,list,dict,setなど任意の型に変換できるliteral_evalのほうが汎用性は高いです。

import json
data_list = '[{"id": "3", "name": "Jone", "age": "23"}, {"id": "1", "name": "Anne", "age": "17"}, {"id": "2", "name": "Ken", "age": "21"}]'
data_list = json.loads(data_list)
print(data_list)
for d in data_list:
    print(d)

# json.loadsではtuple,setなどは変換不可。
from ast import literal_eval
s = "[1,(1,2),{'id':123},{'a','b','c'}]"
l = literal_eval(s)
for i in l:
    print(type(i),i)

Comments

[khaii21]

ご教授ありがとうございます。
追記もありがとうございました。

Answer 3

ちょっと荒業ですが、Pythonの中でPythonの文として実行させましょう。 eval() を使います。

data_list = [] # 後のデータ取り出しのためにここで宣言しておく。

with open(sample_txt, "r") as f:
    line = f.read()
    data_list = exec(line) # ここでテキストをPythonコードとして実行させる。

print(data_list[0]['id']) # きっとここで「3」という文字列が出力されるはず……

参考資料

2. 組み込み関数 — Python 3.6.5 ドキュメント

Comments

[khaii21]

ご教授ありがとうございます。
まだまだ初心者の域から脱せられていないので、とても勉強になりました。

Answer 4

eval(ファイルから読み込んだ文字列)とすると元のオブジェクトに変換できるかと。
ただしセキュリティ上の問題があるので、一人で使うなら構いませんが、そうでないときはこの方法は避けてください。

Comments

[khaii21]

ご教授ありがとうございます。
セキュリティに問題もあるのですね。
とても勉強になりました。