pythonでのeval関数による大容量ファイルの読み込み

Question

以下のような配列が記述されているファイルをpythonのeval関数を用いて読み込み、計算などの処理を行っているのですが、読み込むファイルの容量が100～200MBとかなり大きく、eval関数による処理の際メモリの使用率が100パーセント近くまで増加し、処理が遅くなってしまい困っています。
何か代替策は無いでしょうか？よろしくお願いします。

＃プログラム例
f=open(data.txt)
data = f.read()
data2 = eval(data2)
print data2
＃ファイル例(data.txt)
numpy.array[1,2,3,4,...]
numpy.array[5,6,7,8,...]
.
.
.
numpy.array[9,10,11,12,...]

膨大なファイルをeval関数に入れることによりメモリを消費してしまっているようなのですが、readline関数等を使えば1行ずつにdata2に追加していくように書き換えることは可能でしょうか？

data.txtは以下のような形式です。
"""
[
[numpy.array[0,0,0,0,0.421,0,0…,0,0],numpy.array[1]],
[numpy.array[0,0,0…,0,0,0.928…,0,0],numpy.array[0]],
・
・
・
[numpy.array[0,0.428,0…,0,0,0,…,0,0.007],numpy.array[1]]
[numpy.array[0,0.428,0…,0.311,0,0,…,0,0],numpy.array[0]]
]
"""

Comments

[lightson]

data.txtの中身を”””で囲った文字列で書いてもらえますか？
また、data2として何がほしいのかも知りたいです。

[milco]

ファイル例とほぼ同様の形式ですが、
"""
[
[numpy.array[0,0,0,0,0.421,0,0…,0,0],numpy.array[1]],
[numpy.array[0,0,0…,0,0,0.928…,0,0],numpy.array[0]],
・
・
・
[numpy.array[0,0.428,0…,0.311,0,0,…,0,0],numpy.array[0]]
]
"""
このように各行に2つの配列が格納されており、左側の配列が一定区間毎の確率分布(要素数15000)を表し、右側の配列はその確率分布が属するクラス(0か１)を表しています。
このファイルの様式、データ構造のままdata2へ引き渡したいのですが、eval()を使わなければ配列内の数値が文字列として扱われてしまうためeval()によるファイルの評価を行っています。

[milco]

data.txtの中身が見辛くなってしまったため、質問本文の方に追加しました。

[lightson]

このような形式のデータはあまり見たことがないのですが、numpy.arrayという文字を含む文字列という理解でよろしいでしょうか？

Answer 1

全体を一気に eval に与えているということは、
ファイル内容全体で一つのオブジェクトとして
記述されているということでしょうか。

1行を1アイテムに相当するように書き直して、
プログラムからは1行読んで eval で変換して
data2 に追加するような形でいけそうな感じがします。

Answer 2

中身だけ書いたら単なる csv ですよね？
書き直したら csv.reader が使えるんじゃないですか？
普通にやったらたったの 200MB でひいひい言うなんてことはないはずなので eval が原因だと思います。

Answer 3

以下ではないですか？

data2 = eval(data)  

data.txtはどんな内容でしょうか？
数式が沢山入ってるなら bc コマンドに食わせたほうが軽いと思います。

Comments

[milco]

data.txtの中身はファイル例のようなただの数値の並んだ配列なのですが、その要素数が10000個以上と非常に多いため、eval(data)を行う際にメモリ消費量が増大してしまうようです。