FailedPreconditionErrorのエラー対処方法

Question

1.質問内容
実践GAN　敵対性生成ネットワークによる深層学習(マイナビ）で、VAEの実装を勉強中です。
参考コードも
実践GAN　敵対性生成ネットワークによる深層学習の公開github中コードです。
githubは、以下です。
https://github.com/GANs-in-Action/gans-in-action
Chapter-2の「Chapter_2_Autoencoder.ipynb」が参考コードです。

参考コードは、vAE実装例です。google　colab上で作動させると、以下の
エラーが、下記の場所で出ます。

vae.fit(x_train, x_train,
        shuffle=True,
        epochs=epochs,
        batch_size=batch_size)

エラー文は、以下のもの
FailedPreconditionError: Could not find variable training_2/RMSprop/rho. This could mean that the variable has been deleted. In TF1, it can also mean the variable is uninitialized. Debug info: container=localhost, status=Not found: Resource localhost/training_2/RMSprop/rho/N10tensorflow3VarE does not exist.

対処方法をお願いいたします。

2.参考コード

from __future__ import print_function

import numpy as np
import matplotlib.pyplot as plt
from scipy.stats import norm
import tensorflow as tf

from keras.layers import Input, Dense, Lambda, Reshape
from keras.models import Model
from keras import backend as K
from keras import objectives#追加
from keras import metrics
from keras.datasets import mnist

# defining the key parameters
batch_size = 100
original_dim = 784
latent_dim = 2
intermediate_dim = 256
epochs = 50
epsilon_std = 1.0

def sampling(args: tuple):
    # we grab the variables from the tuple
    z_mean, z_log_var = args
    epsilon = K.random_normal(shape=(K.shape(z_mean)[0], latent_dim), mean=0.,
                              stddev=epsilon_std)
    return z_mean + K.exp(z_log_var / 2) * epsilon

# input to our encoder
x = Input(shape=(original_dim,), name="input")
# intermediate layer
h = Dense(intermediate_dim, activation='relu', name="encoding")(x)
# defining the mean of the latent space
z_mean = Dense(latent_dim, name="mean")(h)
# defining the log variance of the latent space
z_log_var = Dense(latent_dim, name="log-variance")(h)
# note that "output_shape" isn't necessary with the TensorFlow backend
z = Lambda(sampling, output_shape=(latent_dim,))([z_mean, z_log_var])
# defining the encoder as a keras model
encoder = Model(x, [z_mean, z_log_var, z], name="encoder")
# print out summary of what we just did
encoder.summary()

# Input to the decoder
input_decoder = Input(shape=(latent_dim,), name="decoder_input")
# taking the latent space to intermediate dimension
decoder_h = Dense(intermediate_dim, activation='relu', name="decoder_h")(input_decoder)
# getting the mean from the original dimension
x_decoded = Dense(original_dim, activation='sigmoid', name="flat_decoded")(decoder_h)
# defining the decoder as a keras model
decoder = Model(input_decoder, x_decoded, name="decoder")
decoder.summary()

# grab the output. Recall, that we need to grab the 3rd element our sampling z
output_combined = decoder(encoder(x)[2])
# link the input and the overall output
vae = Model(x, output_combined)
# print out what the overall model looks like
vae.summary()

Model??

def vae_loss(x: tf.Tensor, x_decoded_mean: tf.Tensor,
            z_log_var=z_log_var, z_mean=z_mean,
            original_dim=original_dim):
    xent_loss = original_dim * metrics.binary_crossentropy(x, x_decoded_mean)
    kl_loss = - 0.5 * K.sum(
        1 + z_log_var - K.square(z_mean) - K.exp(z_log_var), axis=-1)
    vae_loss = K.mean(xent_loss + kl_loss)
    return vae_loss

vae.compile(optimizer='rmsprop', loss=vae_loss)
vae.summary()

(x_train, y_train), (x_test, y_test) = mnist.load_data()

x_train = x_train.astype('float32') / 255.
x_test = x_test.astype('float32') / 255.
x_train = x_train.reshape((len(x_train), np.prod(x_train.shape[1:])))
x_test = x_test.reshape((len(x_test), np.prod(x_test.shape[1:])))

vae.fit(x_train, x_train,
        shuffle=True,
        epochs=epochs,
        batch_size=batch_size)

# display a 2D plot of the digit classes in the latent space
x_test_encoded = encoder.predict(x_test, batch_size=batch_size)[0]
plt.figure(figsize=(6, 6))
plt.scatter(x_test_encoded[:,0], x_test_encoded[:,1], c=y_test, cmap='viridis')
plt.colorbar()
plt.show()

# display a 2D manifold of the digits
n = 15  # figure with 15x15 digits
digit_size = 28
figure = np.zeros((digit_size * n, digit_size * n))
grid_x = norm.ppf(np.linspace(0.05, 0.95, n))
grid_y = norm.ppf(np.linspace(0.05, 0.95, n))

for i, yi in enumerate(grid_x):
    for j, xi in enumerate(grid_y):
        z_sample = np.array([[xi, yi]])
        x_decoded = decoder.predict(z_sample)
        digit = x_decoded[0].reshape(digit_size, digit_size)
        figure[i * digit_size: (i + 1) * digit_size,
               j * digit_size: (j + 1) * digit_size] = digit

plt.figure(figsize=(10, 10))
plt.imshow(figure, cmap='Greys_r')
plt.show()

3.補足情報（FW/ツールのバージョンなど）
開発環境：Google Colaboratory
プログラム言語：python3
OS：windows10 Home
CPU：Intel(R) Core(TM) i7-7500U CPU@2.70GHz 2.90GHz

Comments

[jbpb0]

> 参考コードも
実践GAN　敵対性生成ネットワークによる深層学習の公開github中コードです。

「実践GAN」のサポートWebページ
https://book.mynavi.jp/supportsite/detail/9784839967710.html
によると、githubは下記です
https://github.com/GANs-in-Action/gans-in-action

> githubは、以下です。
https://github.com/yusugomori/deeplearning-keras-tf2-torch
Chapter-2の「Chapter_2_Autoencoder.ipynb」が参考コードです。

にあるのは、「詳解ディープラーニング 第2版」
https://book.mynavi.jp/ec/products/detail/id=109454
のコード

[kouji_39]

https://github.com/GANs-in-Action/gans-in-action
に修正しました。ご指摘ありがとうございます。

[jbpb0]

https://github.com/GANs-in-Action/gans-in-action/blob/master/chapter-2/Chapter_2_Autoencoder.ipynb
に「this code was checked with Keras as late as 2.2.4 and Tensorflow as late as 1.12.0」と書かれてますけど、そのバージョンで実行してもエラー出ますでしょうか？

[kouji_39]

ご指導ありがとうございます。
バージョン指定インストールは、以下のようなかんじでしょうか？
!pip install keras==2.2.4
!pip install tensorflow==1.12.0
上記を参考コードの一番前に持ってきて、実行すると、
from keras.layers import Input, Dense, Lambda, Reshape
の箇所で、以下のエラーが発生します。
AttributeError: module 'keras.utils.generic_utils' has no attribute 'populate_dict_with_module_objects'

[jbpb0]

!pip list
で、バージョン合ってるか確認してください

[jbpb0]

別のバージョンをインストールしたら、たしか再起動しないと反映されなかったような
!pip install...
の時にそれ的なことが書かれてると思うので、確認してください

[kouji_39]

再度のご指導ありがとうございます。
tensorflowは、2.5.0 になっていました。インポート時にtensorflowについては、下記のエラー
が発生していました。一応、動きはします。なお、kerasは2.2.4のバージョンでした。

ERROR: Could not find a version that satisfies the requirement tensorflow==1.12.0 (from versions: 1.13.0rc1, 1.13.0rc2, 1.13.1, 1.13.2, 1.14.0rc0, 1.14.0rc1, 1.14.0, 1.15.0rc0, 1.15.0rc1, 1.15.0rc2, 1.15.0rc3, 1.15.0, 1.15.2, 1.15.3, 1.15.4, 1.15.5, 2.0.0a0, 2.0.0b0, 2.0.0b1, 2.0.0rc0, 2.0.0rc1, 2.0.0rc2, 2.0.0, 2.0.1, 2.0.2, 2.0.3, 2.0.4, 2.1.0rc0, 2.1.0rc1, 2.1.0rc2, 2.1.0, 2.1.1, 2.1.2, 2.1.3, 2.2.0rc0, 2.2.0rc1, 2.2.0rc2, 2.2.0rc3, 2.2.0rc4, 2.2.0, 2.2.1, 2.2.2, 2.3.0rc0, 2.3.0rc1, 2.3.0rc2, 2.3.0, 2.3.1, 2.3.2, 2.4.0rc0, 2.4.0rc1, 2.4.0rc2, 2.4.0rc3, 2.4.0rc4, 2.4.0, 2.4.1, 2.5.0rc0, 2.5.0rc1, 2.5.0rc2, 2.5.0rc3, 2.5.0)
ERROR: No matching distribution found for tensorflow==1.12.0
（テンソルフローに一致するdistributionが見つかりません）

[jbpb0]

それでしたら、TF1.*の中からインストール可能なバージョンを選んで入れてから、再起動してから実行してみてください

TF1とTF2は、かなり仕様が違うので、TF1用のコードは、たいていTF2ではすんなりとは動きません

[jbpb0]

バージョンに「rc」が付いてるのは、正式リリース版ではないので、避けた方がいいかも

[jbpb0]

Colabで動かして確認したら、TFとKerasをバージョン指定して入れ直しても、現状Colabに入ってる「keras-nightly」が邪魔してエラーが消えないので、それを削除する必要がありました

詳細手順を回答に書いたので、確認してみてください

Answer 1

GANs in Action
の「List of available code:」の「Chapter 2:」の「Colab」をクリックして、現れたColabのノートブックの先頭に

!pip uninstall -y tensorflow
!pip uninstall -y keras-nightly
!pip uninstall -y keras
!pip install tensorflow==1.15.3
!pip install keras==2.3.1

という内容のセルを追加し、そのセルだけを実行して、Colabのランタイムを再起動して、「すべてのセルを実行」をしたら、エラーは出ずに最後まで実行できました

Comments

[jbpb0]

Colabのノートブックに上記を行う前に、内容を全く触らずにそのまま「すべてのセルを実行」をしたら、

vae.fit(x_train, x_train, shuffle=True, epochs=epochs, batch_size=batch_size)

のところでエラーが出ましたが、エラーメッセージは質問に書かれてるものとは違い、下記でした
「TypeError: Cannot convert a symbolic Keras input/output to a numpy array. (略)」

[kouji_39]

jbpb0さん、ありがとうございます。
jbpb0さんのセルを頭にいれて、ランタイム再起動、次のセルから「以降のセルを実行」でうまくいきました。あと、他のファイルを実行時は、「出荷時にリセット」をする。ということですね。

[jbpb0]

> 他のファイルを実行時は、「出荷時にリセット」をする。ということですね

そうですね

いろいろ試行錯誤して、いろんなものを入れたり削除したりを繰り返すと、現状がどうなってるのか把握できなくなり、たまたまうまくいく状態になったとしても、それを一からやり直して再現する方法がわからなくなったりします

なので、何かやってみてダメで、他の方法を試す際は、「ランタイムを出荷時設定にリセット」をしてからやるようにしてます
そうすれば、リセット後にやったことだけをちゃんとやれば、状態を再現できますので

[kouji_39]

今日は、次章のGANのコードを動かしてみたら、バージョン変更は不要でした。VAEのコードについては、テキスト中でもバージョン指定に触れていたので、第２章ＶＡＥだけバージョン変更が必要だったのもしれません。「!pip uninstall -y keras-nightly」については、なかなか気づけないところなので、jbpb0さんのご指導に感謝しております。

Answer 2

google翻訳
FailedPreconditionError: 変数training_2/RMSprop/rhoが見つかりませんでした。これは、変数が削除されたことを意味する可能性があります。 TF1 では、変数が初期化されていないことも意味します。デバッグ情報: コンテナー=ローカルホスト、ステータス=見つかりません: リソース localhost/training_2/RMSprop/rho/N10tensorflow3VarE が存在しません。

Comments

[kouji_39]

「リソース localhost/training_2/RMSprop/rho/N10tensorflow3VarE が存在しません。」等、何を意味し、どう対応するのかがわからないので、ご教授いただけたら幸いです。