[Keras]Google colabでmulti_gpu_modelをimportできない

Question

前提

Google Colab上でKerasのmulti_gpu_modelをimportしたいのですがうまくいきません。
追記: multi_gpu_modelが既に廃止になっていたため、tf.distribute.MirroredStrategyを利用してコードを書き換えたいです。

実現したいこと

ここに実現したいことを箇条書きで書いてください。

• multi_gpu_modelをgoogle Colab上でimport可能にする
• multi_gpu_modelからtf.distribute.MirroredStrategyに変更した場合にコードをどのように書き換えるか

発生している問題・エラーメッセージ

ImportError                               Traceback (most recent call last)
<ipython-input-30-bf8bcc9a4cfa> in <module>
      4 #from tensorflow.python.keras.utils.multi_gpu_utils import multi_gpu_model
      5 #from tensorflow.python.keras.utils.multi_gpu_utils import multi_gpu_model
----> 6 from tensorflow.keras.utils import multi_gpu_model

ImportError: cannot import name 'multi_gpu_model' from 'tensorflow.keras.utils' (/usr/local/lib/python3.7/dist-packages/keras/api/_v2/keras/utils/__init__.py)

---------------------------------------------------------------------------
NOTE: If your import is failing due to a missing package, you can
manually install dependencies using either !pip or !apt.

To view examples of installing some common dependencies, click the
"Open Examples" button below.
---------------------------------------------------------------------------

該当のソースコード

from tensorflow.keras.utils import multi_gpu_model
#import tensorflow as tf
#from keras.applications import Xception
#from keras.utils import multi_gpu_model
#from tensorflow.python.keras.utils.multi_gpu_utils import multi_gpu_model

def AutoEncoder(gpu_num=1):
    input_layer = Input(shape=(128, 128, 3))

    conv11 = Conv2D(32, (3, 3), activation='relu', padding='same')(input_layer)
    conv12 = Conv2D(32, (3, 3), activation='relu', padding='same')(conv11)
    pool1 = MaxPooling2D()(conv12)

    conv21 = Conv2D(16, (3, 3), activation='relu', padding='same')(pool1)
    conv22 = Conv2D(16, (3, 3), activation='relu', padding='same')(conv21)
    encoded = MaxPooling2D()(conv22)

    conv31 = Conv2D(8, (3, 3), activation='relu', padding='same')(encoded)
    conv32 = Conv2D(8, (3, 3), activation='relu', padding='same')(conv31)

    up1 = UpSampling2D()(conv32)
    conv41 = Conv2D(16, (3, 3), activation='relu', padding='same')(up1)
    conv42 = Conv2D(16, (3, 3), activation='relu', padding='same')(conv41)

    up2 = UpSampling2D()(conv42)
    conv51 = Conv2D(32, (3, 3), activation='relu', padding='same')(up2)
    conv52 = Conv2D(32, (3, 3), activation='relu', padding='same')(conv51)

    decoded = Conv2D(3, (1, 1), activation='sigmoid', padding='same')(conv52)

    model = Model(inputs=input_layer, outputs=decoded)

    if gpu_num >= 2:
        model = multi_gpu_model(model, gpus=gpu_num)

    adam = Adam(lr=0.0001)
    model.compile(optimizer=adam, loss='binary_crossentropy')

    return model

import cv2
import glob
import os

#from keras.callbacks import TensorBoard
from tensorflow.python.keras.callbacks import TensorBoard

#from models import AutoEncoder
#from utils import ImageLoader


#DATA_DIR = os.path.join('data')
#DATA_DIR = os.path.join('screw')
DATA_DIR = '/content/drive/MyDrive/DeepLearningHandson/chapter4/screw'
TRAIN_DATA_DIR = os.path.join(DATA_DIR, 'train')
VALID_DATA_DIR = os.path.join(DATA_DIR, 'valid')
LOGS_DIR = os.path.join('logs')
MODEL_FILEPATH = os.path.join('results', 'autoencoder_experiment_01.h5')

model = AutoEncoder(gpu_num=8)
#model = AutoEncoder(gpu_num=8)
image_size = model.input.shape[1:3]

model.summary()

train_images = ImageLoader(TRAIN_DATA_DIR, tuple(image_size)).load()
valid_images = ImageLoader(VALID_DATA_DIR, tuple(image_size)).load()

tensorboard_callback = TensorBoard(log_dir=LOGS_DIR)

model.fit(
    train_images,
    train_images,
    validation_data=(valid_images, valid_images),
    batch_size=125,
    epochs=100,
    callbacks=[tensorboard_callback]
)

model.save(MODEL_FILEPATH)

試したこと

kerasの前にtensorflowをつけたりpythonをつけたりネット上の文献で見当たるものは試してみましたがうまくいきませんでした。
もしかしたら自分が見逃しているパターンもあるかもしれないので解答ほどよろしくお願いします。

補足情報（FW/ツールのバージョンなど）

ここにより詳細な情報を記載してください。

Comments

[jbpb0]

> cannot import name 'multi_gpu_model' from 'tensorflow.keras.utils'

https://www.tensorflow.org/versions/r2.2/api_docs/python/tf/keras/utils/multi_gpu_model
に、
「THIS FUNCTION IS DEPRECATED. It will be removed after 2020-04-01. Instructions for updating: Use tf.distribute.MirroredStrategy instead.」
と書かれてます

[drango]

解答いただきありがとうございます。
追加でお聞きしたいのですが、multi_gpu_modelsから上記のものに差し替えるとして、以下の場合どのように変更するべきなのでしょうか。

def AutoEncoder(gpu_num=1):
input_layer = Input(shape=(128, 128, 3))

conv11 = Conv2D(32, (3, 3), activation='relu', padding='same')(input_layer)
conv12 = Conv2D(32, (3, 3), activation='relu', padding='same')(conv11)
pool1 = MaxPooling2D()(conv12)

conv21 = Conv2D(16, (3, 3), activation='relu', padding='same')(pool1)
conv22 = Conv2D(16, (3, 3), activation='relu', padding='same')(conv21)
encoded = MaxPooling2D()(conv22)

conv31 = Conv2D(8, (3, 3), activation='relu', padding='same')(encoded)
conv32 = Conv2D(8, (3, 3), activation='relu', padding='same')(conv31)

up1 = UpSampling2D()(conv32)
conv41 = Conv2D(16, (3, 3), activation='relu', padding='same')(up1)
conv42 = Conv2D(16, (3, 3), activation='relu', padding='same')(conv41)

up2 = UpSampling2D()(conv42)
conv51 = Conv2D(32, (3, 3), activation='relu', padding='same')(up2)
conv52 = Conv2D(32, (3, 3), activation='relu', padding='same')(conv51)

decoded = Conv2D(3, (1, 1), activation='sigmoid', padding='same')(conv52)

model = Model(inputs=input_layer, outputs=decoded)

if gpu_num >= 2:
model = multi_gpu_model(model, gpus=gpu_num)

adam = Adam(lr=0.0001)
model.compile(optimizer=adam, loss='binary_crossentropy')

return model

[jbpb0]

> 以下の場合どのように変更するべきなのでしょうか。

https://teratail.com/help/avoid-asking
の「コードをください・デバッグしてください等の丸投げの質問」を見てください

まずは自分で調べて、考えましょう

[drango]

すみません、自分で調べたところmulti_gpu_model()の関数がtf.distribute.MirroredStrategyの方にはなくスコープ内で処理をするようで、自分にはどう書き換えたらいいかわかりませんでした。

[jbpb0]

使ったこと無いので詳細知りませんが、
https://qiita.com/ytkj/items/18b2910c3363b938cde4
を見ると、スコープ内でモデルの定義と「model.compile」をやってますよね

それに合わせて、「def AutoEncoder(gpu_num=1):」内の「return model」以外をスコープに入れて、「if gpu_num >= 2:」と次の行を削除したら、どうでしょうか？

Answer 1

cannot import name 'multi_gpu_model' from 'tensorflow.keras.utils'

tf.keras.utils.multi_gpu_model
に、
「THIS FUNCTION IS DEPRECATED. It will be removed after 2020-04-01. Instructions for updating: Use tf.distribute.MirroredStrategy instead.」
と書かれてます