学習の再現性を確保したい

Question

学習の再現性を確保したい

Kerasで回帰問題のプログラムを作っています
学習の再現をしたく，Qiitaにて書かれているソースをコピーして試したのですが画像のように異なるlossになります

---

---実行結果1

---実行結果2

---

また，画像はAtomで作成したpythonファイルをローカルで実行したものですが，Jupyter Notebookで試しても再現されませんでした
以下，使用しているモデルとオプションです

---

環境

• Python 3.6.6
• Tensorflow 1.11.0
• Keras 2.2.4

config = tf.ConfigProto(allow_soft_placement=True)
config.gpu_options.allow_growth = True
K.set_session(tf.Session(config=config))

np.random.seed(seed=0)

os.environ['PYTHONHASHSEED'] = '0'
random.seed(0)

session_conf = tf.ConfigProto(
    intra_op_parallelism_threads=1,
    inter_op_parallelism_threads=1
)

tf.set_random_seed(0)
sess = tf.Session(graph=tf.get_default_graph(), config=session_conf)
K.set_session(sess)

model = Sequential()
model.add(Conv2D(32, (3, 3), activation='relu', padding="same", input_shape=(height, width, 3)))
model.add(Conv2D(32, (3, 3), activation='relu', padding="same"))
model.add(MaxPooling2D(pool_size=(2, 2)))
model.add(Dropout(0.25))

model.add(Conv2D(64, (3, 3), activation='relu', padding="same"))
model.add(Conv2D(64, (3, 3), activation='relu', padding="same"))
model.add(MaxPooling2D(pool_size=(2, 2)))
model.add(Dropout(0.25))

model.add(Conv2D(128, (3, 3), activation='relu', padding="same"))
model.add(Conv2D(128, (3, 3), activation='relu', padding="same"))
model.add(MaxPooling2D(pool_size=(2, 2)))
model.add(Dropout(0.25))

model.add(Conv2D(256, (3, 3), activation='relu', padding="same"))
model.add(Conv2D(256, (3, 3), activation='relu', padding="same"))
model.add(MaxPooling2D(pool_size=(2, 2)))
model.add(Dropout(0.25))

model.add(Conv2D(512, (3, 3), activation='relu', padding="same"))
model.add(Conv2D(512, (3, 3), activation='relu', padding="same"))
model.add(MaxPooling2D(pool_size=(2, 2)))
model.add(Dropout(0.25))

model.add(Flatten())
model.add(Dense(256, activation='relu'))
model.add(Dropout(0.5))
model.add(Dense(1))
model.summary()

model.compile(loss='mse', optimizer=Adam(), metrics=['mae'])
fit = model.fit(imgs_train, labels_train, batch_size, epochs, validation_data=(imgs_test, labels_test))

Comments

[tiitoi]

同じ値を再現したいのであれば、実行環境の OS、各種ライブラリのバージョンなども合わせる必要があるのではないでしょうか。
基本的に機械学習の再現性検証はだいたい同じ精度、結果がでるかどうかで判断すればよいと思います。厳密に同じ値が出ることを期待するのは現実的ではありません。

[Q71]

乱数のシードを固定しているのだから、何回やっても同じ結果になるんじゃないの？という意図の質問ですか？
GPU使ってますよね。そっちじゃないかなぁ。これは見ました？
https://www.bing.com/search?q=cuda+%e7%b5%90%e6%9e%9c%e3%81%8c%e4%b8%8d%e5%ae%89%e5%ae%9a
最新のtensorflowでは修正されているのでしょうか？
https://qiita.com/TokyoMickey/items/63c4053740ab1f3f28a2

Answer 1

Qiitaと記述の順番が異なっていますね。
os.environの方を先にするとどうなりますか