大容量データを読み込むとpcがフリーズしてしまうため、解決案をご教示ください。

Question

実現したいこと

　自動車のIDや座標、速度、角度などが含んだ午前6時から午前10時までのデータを1秒ごとにPythonプログラムで読み込み、ID、座標、速度だけをテキストファイルに抽出したいです。

前提

・自動車データの容量
1秒ごとに複数(平均4000台)の車両のID、座標、角度、速度、タイプなどの情報が24時間分データが記載されています。データはSumo simulationという自動車シミュレーションの解析ソフトから入手しました。形式はxmlで、サイズは66[GB]あります。

・自動車データの一部

    <timestep time="0.00"/>
    <timestep time="1.00">
        <vehicle id="12145" x="15738.31" y="12960.48" angle="222.08" type="passenger" speed="8.27" pos="0.00" edge="101186592#1" slope="0.00"/>
        <vehicle id="21033" x="11763.45" y="8734.78" angle="113.96" type="passenger" speed="4.62" pos="0.00" edge="-135860932#5" slope="0.00"/>
        <vehicle id="22846" x="12003.84" y="7245.94" angle="286.08" type="passenger" speed="8.73" pos="0.00" edge="329301856#1" slope="0.00"/>
        <vehicle id="5498" x="9390.46" y="14695.02" angle="275.69" type="passenger" speed="10.42" pos="0.00" edge="486666536" slope="0.00"/>
        <vehicle id="685" x="13927.17" y="17398.08" angle="185.71" type="passenger" speed="8.50" pos="0.00" edge="-134109962" slope="0.00"/>
    </timestep>
    <timestep time="2.00">
        <vehicle id="10154" x="13166.76" y="13330.08" angle="297.20" type="passenger" speed="6.96" pos="0.00" edge="572714693#1" slope="0.00"/>
        <vehicle id="10357" x="13652.13" y="12984.96" angle="117.33" type="passenger" speed="9.04" pos="0.00" edge="36927091#2" slope="0.00"/>
        <vehicle id="12145" x="15738.31" y="12960.48" angle="222.08" type="passenger" speed="8.27" pos="0.00" edge="101186592#1" slope="0.00"/>
        <vehicle id="19469" x="12549.67" y="11159.53" angle="26.71" type="passenger" speed="4.42" pos="0.00" edge="-50175538#0" slope="0.00"/>
        <vehicle id="21033" x="11763.45" y="8734.78" angle="113.96" type="passenger" speed="4.62" pos="0.00" edge="-135860932#5" slope="0.00"/>
        <vehicle id="22846" x="12003.84" y="7245.94" angle="286.08" type="passenger" speed="8.73" pos="0.00" edge="329301856#1" slope="0.00"/>
        <vehicle id="5498" x="9390.46" y="14695.02" angle="275.69" type="passenger" speed="10.42" pos="0.00" edge="486666536" slope="0.00"/>
        <vehicle id="6205" x="13210.50" y="14248.27" angle="201.25" type="passenger" speed="5.81" pos="0.00" edge="-23182358#9" slope="0.00"/>
        <vehicle id="685" x="13927.17" y="17398.08" angle="185.71" type="passenger" speed="8.50" pos="0.00" edge="-134109962" slope="0.00"/>
        <vehicle id="7228" x="14452.42" y="13726.45" angle="209.55" type="passenger" speed="4.71" pos="0.00" edge="196497372#0" slope="0.00"/>
    </timestep>
　　・・・

使用するプログラムのソースコード

xmlの一行一行読み込み、データを抽出するプログラム

# 24時間の車両データを6~10時までのデータに抽出

import sys
from xml.etree.ElementTree import iterparse
import r

output_file = "Tust_0610.txt" # 出力ファイル
FCDOutput = 'Tust24.xml' # 入力ファイル

time_s=21600 # 開始時間
time_e=36000 # 終了時間

#　xmlデータを読み込み、ID.座標、速度を抽出する関数
def SUMOTraceParser(FCDOutput):
    data_list=[]
    # ファイルopen
    f = open(output_file, "w")
    # xmlファイルのstart,endドックを取得
    doc = iterparse(FCDOutput, events=('start', 'end'))
    # Skip the root element
    event, root = next(doc)

    # 読み込み
    for event, elem in doc:
        if event == 'start':
            if elem.tag == 'timestep':　#時間を抽出
                # 時間tを読み込み
                t = float(elem.attrib['time'])
            elif elem.tag == 'vehicle' : # 車両の情報を抽出
                # データの各要素位
                id = int(str(elem.attrib['id']))
                x = int(float(elem.attrib['x']))
                y = int(float(elem.attrib['y']))
                speed=float(elem.attrib['speed'])
                # x,yは整数型で出力(データ容量削減のため)
                data_list.append((id,x,y,speed))
        elif event == 'end': 
            if elem.tag == 'timestep'and t>time_s:
                print("t=%d\n"%(int(t)))
                for i in range(len(data_list)):
                    f.write("%d,%d,%d,%.2f\n"%(data_list[i][0],data_list[i][1],data_list[i][2],data_list[i][3]))
                    print("%d,%d,%d,%.2f\n"%(data_list[i][0],data_list[i][1],data_list[i][2],data_list[i][3]))
                f.write("<end>\n")
                data_list=[]
        if t == time_e+1:
            f.close()
            sys.exit()

# main
if __name__ == '__main__':
    SUMOTraceParser(FCDOutput)

###問題点
プログラムを読み込むと途中でフリーズしてしまう。

試したこと

Sumosimulationのコマンドでデータを1時間で分割することで動くようになったが、データが少し変わってしまうため、できれば6時〜10時の1つデータでプログラムを動かしたい。

PCのスペック

メモリ：15.6[GiB]
プロセッサー：Intel® Core™ i7-4770 CPU @ 3.40GHz × 8
グラフィック：NVIDIA Corporation GK208 [GeForce GT 640 Rev. 2]
容量 2TB (HDD)

Comments

[Zuishin]

複数の PC を使い、分散処理をする。

[jbpb0]

https://qiita.com/shuntaroy/items/32e20e9bdab92aff0a89
の「iter するとき（メモリを食べない）」の、
「都度中身を.clear()すればエレメントの情報がメモリから退散します。」
みたいなことはできないのでしょうか？

コードの内容をちゃんと理解してないので、外してたらごめんなさい

[otn]

timestep毎にデータを保存してまとめて書いているようですが、処理内容的にまとめる意味がありません。
実際には、vehicleを読む毎に都度書くのでは駄目な集計のような処理が入っているのでしょうか？

[Bego]

フリーズするのは、プログラム or PC のどっちですか？
いずれにしても、どこで止まっているのかをきちんと究明しない限り、根本的な対策は難しいと思います。
止まってる箇所を特定するには、デバッガをアタッチさせてライブデバッグするか、ダンプ ファイルを採取しそれを解析するかの、いずれかの調査が必要になると思います。
プログラムがフリーズするのであれば、問題現象が発生したタイミングでタスクマネージャーからダンプを生成させ、それをデバッガで読み込み各スレッドの状態を確認すれば、どこで止まっているか特定できると思います。

[n24bass]

XML としてではなく、単にテキストとして１行ずつ読んでの処理ではダメでしょうか。改行が含まれていないなら < から /> まででも1レコードとして読んで正規表現マッチングなりで値を取得とか。

Answer 1

rootを解放することで動かすことができました！メモリの解放についても学べたのでとても良かったです。ありがとうございます！

Answer 2

実際に試していませんので参考程度の回答ですがPython running out of memory parsing XML using cElementTree.iterparseの回答にあるようにジェネレータにしてend時にclearするとメモリ節約できるようです。

追記

大量データでは試していませんが、問題なく処理できているようです。
なお、提示コードにおいて、XMLに開始時間よりも前の時間のデータが含まれている場合、最初の時間のデータにそれらが含まれるような動作になっているようです。
ちょっと違和感ありますが、以下テストコードでもそのままの動作にしています。

from xml.etree.ElementTree import iterparse
from io import StringIO

# テストデータ
s = """<dummy>
    <timestep time="1">
        <vehicle id="1"/>
    </timestep>
    <timestep time="2">
        <vehicle id="2"/>
        <vehicle id="3"/>
    </timestep>
    <timestep time="3">
        <vehicle id="4"/>
        <vehicle id="5"/>
        <vehicle id="6"/>
    </timestep>
    <timestep time="4">
        <vehicle id="9"/>
    </timestep>
</dummy>"""


time_s=1 # これよりも大きい時間
time_e=3 # 終了時間

def get_element(xml):
    data_list=[]
    doc = iterparse(xml, events=('start', 'end'))
    event, root = next(doc)

    for event, elem in doc:
        if event == 'start':
            if elem.tag == 'timestep': #時間を抽出
                # 時間tを読み込み
                t = float(elem.attrib['time'])
            elif elem.tag == 'vehicle' : # 車両の情報を抽出
                id = int(str(elem.attrib['id']))
                data_list.append((id,)) # 時間に関係なく蓄積しているけどまあいいか
        elif event == 'end': 
            if elem.tag == 'timestep'and t > time_s:
                yield t, data_list
                data_list=[]
                root.clear()

        if t == time_e+1: # 完全一致だけどまあいいか
            break

# ファイル出力などの処理は呼出元でおこなう
elems = get_element(StringIO(s))
for e in elems:
    print(e)
"""
(2.0, [(1,), (2,), (3,)])
(3.0, [(4,), (5,), (6,)])
"""

あるいは、そもそもジェネレータにせずとも、たんにend時にclearするだけでもよいかもしれません。