質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

ただいまの
回答率

90.76%

  • Python 3.x

    5344questions

    Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

  • デバッグ

    92questions

    デバッグはプログラムのバグや欠陥を検知し、開発中のバグを取り除く為のプロセスを指します。

  • メモリリーク

    45questions

    メモリリークは、プログラムファイルがメモリの解放に失敗した時に起こります。

メモリリークの解決、参照元の特定

解決済

回答 2

投稿

  • 評価
  • クリップ 6
  • VIEW 491

namuyan

score 28

Python3.6 Winodows10 64bit

Pythonで規模が大きいコードを書いています。
コードを実行すると消費するメモリの量が大きくメモリリークがみられました。

まず第一にtracemallocにより、メモリリークの原因と考えられるObjectを見つけ出しました。
しかし、どこでリークしているのかわかりませんでした。(広範囲に使用している為

gcの公式を読んでいると
https://docs.python.jp/3/library/gc.html#gc.get_referrers
https://docs.python.jp/3/library/gc.html#gc.get_referents
このようなMethodを用いて参照しているObjectを取得できることがわかりました。(正しい?

次にこの参照元を調べようとしたのですが、出力されるリストに見覚えはありません。
このMethodに対する認識は正しいのでしょうか?
また参照元のObjectのプログラムにおける場所や生成元を調べる方法は無いでしょうか?

  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

回答 2

+3

tracemalloc.take_snapshot()でメモリ使用量のリストが取れるので、既存コードに適宜、埋め込んで差分を取るなどすれば、場所の特定につながるのではないでしょうか?

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

checkベストアンサー

+1

Pythonではないですが、3年前に別言語でメモリリークの調査をした時の手順を。
今ならもっといい手法がある気がしますが。。

1,対象のObject自身が自身が関数呼び出しでメモリリークをおこなさない事を保証する。
まずそのObject自体は外部リソース(file/network/database/thread)を使っていますか?
使っているならwith文やcontextlib.closingを使った形にして確実に解放される形に変更してくださいな。

2,調査について
オブジェクト生成時に以下の情報をインスタンス変数に保持しておき調査情報としておきました。
2-1,実行スタックフレーム
tracebackモジュールが使える気がします。
2-2,生成時間(ミリ秒単位)
ログファイルとの突合せ用。
2-3,コンストラクタ引数のパラメータをhash値化したもの。

3,経験則だと
3-1,コンテナやイベントリスナに追加したまま削除せずに放置でメモリリークになるパターンがあります。
=> 弱参照weakrefを使うことも検討してみてくださいな。
3-2,単純にGCがまだ実行されていないだけという事もあるので、GC.Collect()しても徐々にメモリが増加する特微が出るか確認してくださいな。

投稿

編集

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

15分調べてもわからないことは、teratailで質問しよう!

  • ただいまの回答率 90.76%
  • 質問をまとめることで、思考を整理して素早く解決
  • テンプレート機能で、簡単に質問をまとめられる

関連した質問

  • 解決済

    Python3.3のreloadについて

    プログラミング初心者です。 python3.3を使って勉強しています。 モジュールを作ったのですが、モジュールを 変更した場合のリロードが出来ません。 検索するとreloa

  • 解決済

    PythonでMacbook Air(macOS Sierra)のCPU温度を取得したい

    今年もお世話になります。 タイトルの通りPythonでCPU温度を取得したいのですが、自力で検索しましたがosx-cpu-tempしか見つからず、Xcodeのインストールが必

  • 受付中

    open('file/path/file_name', 'w')とopen('file/path/f...

    with open('file/path/file_name', 'w') as x: ・ ・ ・ と書くやり方と with open('file/p

  • 解決済

    Python - バイナリデータで読み込んだ画像を保存せずにイロイロ

    Python3です  やりたいこと 画像URLから画像を引っ張ってイチャコラするときに、一旦保存して編集しているプロセスをすっ飛ばしたい。  具体的に import

  • 解決済

    python tfidfの求め方

    前提・実現したいこと pythonのscikit-learnを使って,TF-IDFを求めたいと思っています. あるテキストファイルを入力させ,Mecabで形態素解析し,TF-I

  • 解決済

    Pythonを使ってシリアル通信を行っています

    現在下記のコードを実行しているのですが、残念ながら画面の出力には b’’ としか表示されません。 シリアル通信で送るデータも受け取るデータもどちらも16進数の数列なのですが、何か指

  • 受付中

    2つ返り値がある場合と1つしかない場合の条件分岐

    2つ返り値がある場合と1つしかない場合の条件分岐でエラーが起こりました。 array = [1,3,5,7] ・ ・ ・ def get_next_point(array_id

  • 解決済

    pythonでtfidfを並列化

    pythonでtfidfの処理に時間がかかるので、並列処理をしています しかし、速度が並列化していない処理よりも5秒ほど遅くなるので(並列化していない時は15秒ほど) cProfi

同じタグがついた質問を見る

  • Python 3.x

    5344questions

    Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

  • デバッグ

    92questions

    デバッグはプログラムのバグや欠陥を検知し、開発中のバグを取り除く為のプロセスを指します。

  • メモリリーク

    45questions

    メモリリークは、プログラムファイルがメモリの解放に失敗した時に起こります。