モジュールのメソッド複数回の呼び出し（実行）を抑制したい。

Question

前提・実現したいこと

スクリプトA.py、B.pyがあります。両方で共通する処理をモジュール化してC.pyとしました。C.pyの中にはc1とc2のメソッドがあり、A.py、B.pyはc1をなんども実行します。c1はc2を実行しますが、インタプリタの1回のセッションでc2は1度実行されれば十分な内容です（単にタプルをつくるだけなので）。

そこで、c2が一度呼び出されれば、次は参照するだけにとどめることができないでしょうか？（メモリーと実行速度、ネットアクセスを節約したい）

該当のソースコード

# A.py または B.py
import preprocess
for sentence in sentence_list:
    words = tokenize(sentence) #ここでtokenize()が呼び出される。

# preprocess.py 上記のCに該当
def get_stopwords(): # 上記のc2に該当
  '''
  ストップワードリストを返す
  '''
  import urllib.request
  url = 'http://svn.sourceforge.jp/svnroot/slothlib/CSharp/Version1/SlothLib/NLP/Filter/StopWord/word/Japanese.txt'
  with urllib.request.urlopen(url) as response:
    stop_words = [w for w in response.read().decode().split('\r\n') if w != '']
  stop_words.extend(['れる', 'られる', 'する', 'いる', 'なる', 'ある', 'できる', 'おる'])
  return tuple(stop_words)

def tokenize(sentence): # 上記のc1に該当
  import MeCab
  import re
  stopwords = get_stopwords() # ここが問題
  mc = MeCab.Tagger('-Ochasen')
  parsed =[]
  pattern = r'\t名詞'
  for morph in mc.parse(sentence).split('\n'):
    if re.search(pattern, morph):
      token = morph.split("\t")[2]
      if token in stopwords: # ここでget_stopwords()を利用
        continue
      parsed.append(token)
  return parsed

試したこと

url = 'http://svn.sourceforge.jp/svnroot/slothlib/CSharp/Version1/SlothLib/NLP/Filter/StopWord/word/Japanese.txt'
  with urllib.request.urlopen(url) as response:
    stop_words = [w for w in response.read().decode().split('\r\n') if w != '']

の部分をハードコーディングして

stop_words = 'あそこ あたり .... 同じ 感じ'.split()

するのも一案だと思っています。が、c2(get_stopword)が何度も呼ばれる点では違いが生じません。

また、A.py(B.py)側で、c2を呼び出し、変数に入れておくことも一案だと思っています。が、A.py側から見えなくても良いメソッドを利用するのが、スマートさに欠けるようにも思えます

# A.py または B.py
import preprocess
stopwords = preprocess.get_stopword()
for sentence in sentence_list:
    words = tokenize(sentence, stopwords) #こんな感じ

補足情報（FW/ツールのバージョンなど）

python 3.5 miniconda

Comments

[wakame]

A.pyとB.pyのコードが同じように見えるのですが二つある意味はあるのですか。また、c2の処理は手動なりであらかじめダウンロードして前処理を加えたものをtxtなりで保存しておいて読み出すコードに替えてあければよいのではないでしょうか。

[NCC1701]

A.py、B.pyは参考ですので、実際には上記のスクリプトの前後がA.pyとB.pyで異なります。Cが複数のスクリプトから呼び出されることを表現したかったため、誤解を生じさせてしまいました。

[NCC1701]

txtなりで保存する場合も結果的にハードコーディングする場合とそれほど差がないように思えるのですが、違うものでしょうか？何度もディスクアクセスが生じるので、イメージなのですが、一度メモリ上に展開したのちは、ポインタ（参照）を使いまわすということで、ディスクアクセスの回数を減らせないかと思案しています。

Answer 1

@functools.lru_cache

関数をメモ化用の呼び出し可能オブジェクトでラップし、最近の呼び出し最大 maxsize 回まで保存するするデコレータです。高価な関数や I/O に束縛されている関数を定期的に同じ引数で呼び出すときに、時間を節約できます。

以下サンプルコード

# -*- coding: utf8 -*-
import functools


@functools.lru_cache(maxsize=None)
def get_stopwords() -> tuple: # 上記のc2に該当
  '''
  ストップワードリストを返す
  '''

  from time import sleep
  # キャッシュ確認用のデバックスリープ！
  sleep(3)

  import urllib.request
  url = 'http://svn.sourceforge.jp/svnroot/slothlib/CSharp/Version1/SlothLib/NLP/Filter/StopWord/word/Japanese.txt'
  with urllib.request.urlopen(url) as response:
    stop_words = [w for w in response.read().decode().split('\r\n') if w != '']
  stop_words.extend(['れる', 'られる', 'する', 'いる', 'なる', 'ある', 'できる', 'おる'])
  return tuple(stop_words)


def main() -> None:
    for i in range(10):
        print(get_stopwords())


if __name__ == '__main__':
    main()

■余談
python 3.5以降なら関数の引数及び戻り値の型を明示するとIDE(統合開発環境）でヒント情報や型不一致の警告を出してくれます。

def get_stopwords() -> tuple:

Comments

[mkgrei]

これは便利ですね。

[umyu]

>mkgreiさんへ
かなり便利ですー。自作してたメモリキャッシュ機構がこれに置き換わりました。

[NCC1701]

ありがとうございます。まさに求めていたものです。最近Pythonを使うようになりましたが、「コードを書ける」ということと「効率的、効果的なコードを書ける」のギャップを埋めるまでにはまだまだな感じです。

Answer 2

クロージャに記録させるのいかがでしょう。

def heavy_call():
    ans = [None]
    def f():
        if ans[0] is not None:
            return ans[0]
        else:
            import time
            time.sleep(5)
            ans[0] = 0
            return ans[0]
    return f

f = heavy_call()
for i in range(10):
    print(f())