関数の中で使われるdataframeのメモリの開放について

Question

ある関数の中でpandasのdataframeの処理をするPythonスクリプトを作っています。処理結果であるdataframeを関数の最後でreturnします。

この時、関数の中で使用されたdataframeは自動的にメモリが開放されますか？
通常の変数であれば、関数の中で使われた変数はローカル変数ですから、関数を抜けたタイミングでメモリは開放されると思いますが、dataframeも同様にメモリが開放されるのでしょうか？

容量の大きいデータをdataframeで扱っていると、次第にPythonを実行しているWindows Server 2012 R2のメモリ使用量が増加していき最後は100%になって、PythonがMemory Errorのメッセージを出力して停止してしまいます。

Comments

[yuki23]

具体的なソースコードを示してください

Answer 1

問題の直接の回答にはならないかもしれませんが、以下のリンクが参考にならないでしょうか？

• Pandas.DataFrameのメモリサイズを削減する（最大で8分の1） [Python] - Qiita
• DataFrameのメモリサイズを節約する - For Your ISHIO Blog

２つのページともデータ読み込み時に型を指定しないと、一番大きなメモリサイズが確保されるので気を付けることを提示してます。
特に２つ目のリンクには、「いらなくなったオブジェクトはお掃除」という記事があります。

gc.collect()で不要なデータを回収する

import gc

del train
gc.collect()

【追記】

python — 複数のpandas（python）データフレームをメモリから削除してRAMを節約する方法は？

より。

ただし、ガベージコレクションを頻繁に呼び出すことは、コストのかかる操作であり、パフォーマンスに影響を与える可能性があるため推奨されません。

Comments

[user1]

型指定とgcをやってみます。大変丁寧な解説、ありがとうございました。