python コードを変更しても何の反映もない

Question

第7章の文章生成プログラム、generate_text.pyについての質問です。

これの実行のために、rnnlm_gen.pyや第6章のrnnlm.pyを使用していて、
rnnlm.pyでTimeEmbeddingオブジェクト生成時に、common/time_layer.pyを使用していると思うのですが、
time_layer.pyをいくら変更しても、反映されません。
rnnlm.pyのpredict関数で使われてるforward関数は、time_layer.pyのTimeEmbeddingクラスのものではないのでしょうか？

rnnlm.py

import sys
sys.path.append('..')
import numpy as np
from common.time_layers import TimeLSTM,TimeAffine,TimeSoftmaxWithLoss,TimeEmbedding
#from common.base_model import BaseModel


class Rnnlm:
    def __init__(self, vocab_size=10000, wordvec_size=100, hidden_size=100):
        
        V, D, H = vocab_size, wordvec_size, hidden_size
        rn = np.random.randn

        # 重みの初期化
        embed_W = (rn(V, D) / 100).astype('f')
        
        lstm_Wx = (rn(D, 4 * H) / np.sqrt(D)).astype('f')
        lstm_Wh = (rn(H, 4 * H) / np.sqrt(H)).astype('f')
        lstm_b = np.zeros(4 * H).astype('f')
        affine_W = (rn(H, V) / np.sqrt(H)).astype('f')
        affine_b = np.zeros(V).astype('f')

        # レイヤの生成
        self.layers = [
            TimeEmbedding(embed_W),
            TimeLSTM(lstm_Wx, lstm_Wh, lstm_b, stateful=True),
            TimeAffine(affine_W, affine_b)
        ]
        
        self.loss_layer = TimeSoftmaxWithLoss()
        self.lstm_layer = self.layers[1]

        # すべての重みと勾配をリストにまとめる
        self.params, self.grads = [], []
        for layer in self.layers:
            self.params += layer.params
            self.grads += layer.grads

    def predict(self, xs):
        for layer in self.layers:
            xs = layer.forward(xs)
            
        return xs

    def forward(self, xs, ts):
     
        score = self.predict(xs)
        loss = self.loss_layer.forward(score, ts)
        
        return loss

    def backward(self, dout=1):
        dout = self.loss_layer.backward(dout)
        for layer in reversed(self.layers):
            dout = layer.backward(dout)
        return dout

    def reset_state(self):
        self.lstm_layer.reset_state()

上のコードのself.layersでTimeEmbeddingオブジェクトを生成してると思うのですが、

time_layer.py

class TimeEmbedding:
    def __init__(self, W):
       
        self.params = [W]
        self.grads = [np.zeros_like(W)]
        self.layers = None
        self.W = W
        

    def forward(self, xs):
        N, T = xs.shape
        V, D = self.W.shape
      
        out = np.empty((N, T, D), dtype='f')
        self.layers = []
        
        for t in range(T):
            layer = Embedding(self.W)
            out[:, t, :] = layer.forward(xs[:, t])
            self.layers.append(layer)
    
        return out

    def backward(self, dout):
        N, T, D = dout.shape

        grad = 0
        for t in range(T):
            layer = self.layers[t]
            layer.backward(dout[:, t, :])
            grad += layer.grads[0]

        self.grads[0][...] = grad
        return None

上のtime_layer.pyをいくらいじっても、何の反映もありません。

https://github.com/oreilly-japan/deep-learning-from-scratch-2/blob/master/ch07/generate_text.py

time_layer.pyの全体をコメントアウトしても、何の反映もなく、generate_text.pyは実行されます。

Anaconda、jupyter notebook使用。

よろしくお願いいたします。

Answer 1

以下の2点を踏まえておいてください。

• 一度importしたものはキャッシュされ、2回目以降のimportは反映されません
• jupyterは過去に実行した履歴がすべて残る対話環境です

Kernerl→Restart & Run Allすると反映されるはずです。

Comments

[rarara1028]

回答ありがとうございます。

KernelでRestartとしても、反映されませんでした。

generate_text.py実行時、importされている、rnnlm_gen.pyやそれにimportされているrnnlm.pyの変更は反映されるのですが、
rnnlm.pyにimportされている、time_layer.pyの変更は反映されません。

[hayataka2049]

変ですね。同名ファイルが他にあったりしませんか？　あとはもしかしたら__pycache__ディレクトリの削除が効くかも（python3だとあまりこれが問題になることはない印象ですが・・・）

[rarara1028]

pycache削除も効きませんでした。

ch07/generate_text.py←実行
ch07/rnnlm_gen.py
ch06/rnnlm.py
common/time_ layer.py

commonフォルダにはpycacheフォルダが作成されていませんでした。

rnnlm.pyの関数predictで使われている関数forwardはTimeEmbeddingクラスのものではないのでしょうか？

[hayataka2049]

＞rnnlm.pyの関数predictで使われている関数forwardはTimeEmbeddingクラスのものではないのでしょうか？
TimeEmbeddingクラスのものだと思います。

以下の方法でTimeEmbeddingクラスの所在を確認してみてください。
import inspect
print(inspect.getsourcefile(どこのソースで定義されているか知りたいクラス))

rnnlm.pyの変更が効くなら、その中に入れると良いと思います。

[rarara1028]

inspectがあるなんて、知りませんでした。
inspectで調べてみたところ、全く違う階層のファイルの使用がわかり、解決しました。

階層が何個か違ったので、その可能性はないと思っていましたが、色んなファイルの、
sys.append(..)が重なったということだと解釈しました。

ここでずっとつまってしまっていたので、本当にありがとうございました。