スタイル変換をしたいが、私だけ「Resource Exhausted Error」が発生します．

Question

前提・実現したいこと

参考書「PythonとKerasによるディープラーニング」でスタイル変換について勉強しています．

自分だけが以下のプログラムを実行すると「Resource Exhausted Error」が発生してしまいます．
※再起動等を繰り返してもエラーが出てしまいます．
※友達は、同じプログラムを実行してもエラーが発生せずに画像が生成されるそうです．

実行環境の問題だと思うのですが、なぜ自分だけこのようなエラーが出るのか、どうすれば解決できるのか教えて下さい！
お手数をおかけしますが、何卒お願いします。。。

発生している問題・エラーメッセージ

ResourceExhaustedError: 2 root error(s) found.
  (0) Resource exhausted: OOM when allocating tensor with shape[3,200,200,128] and type float on /job:localhost/replica:0/task:0/device:GPU:0 by allocator GPU_0_bfc
	 [[{{node gradients/strided_slice_6_grad/StridedSliceGrad}}]]
Hint: If you want to see a list of allocated tensors when OOM happens, add report_tensor_allocations_upon_oom to RunOptions for current allocation info.

	 [[add_8/_197]]
Hint: If you want to see a list of allocated tensors when OOM happens, add report_tensor_allocations_upon_oom to RunOptions for current allocation info.

  (1) Resource exhausted: OOM when allocating tensor with shape[3,200,200,128] and type float on /job:localhost/replica:0/task:0/device:GPU:0 by allocator GPU_0_bfc
	 [[{{node gradients/strided_slice_6_grad/StridedSliceGrad}}]]
Hint: If you want to see a list of allocated tensors when OOM happens, add report_tensor_allocations_upon_oom to RunOptions for current allocation info.

0 successful operations.
0 derived errors ignored.

該当のソースコード

参考書のプログラム　←このプログラムをもとに作成しました．
※変更点「imsaveモジュール」ではなく「imageioモジュール」にしました．
（使用しているバージョンで「imsaveモジュール」を使おうとするとエラーが発生してしまうため）

# 変数の定義
from keras.preprocessing.image import load_img, img_to_array

target_image_path = './StyleTransfer/Elephant.jpg'
style_reference_image_path = './StyleTransfer/transfer_style_reference.jpg'

width, height = load_img(target_image_path).size
img_height = 400
img_width = int(width * img_height / height)

# 画像処理を行う補助関数の定義
import numpy as np
from keras.applications import vgg19
def preprocess_image(image_path):
    img = load_img(image_path, target_size = (img_height, img_width))
    img = img_to_array(img)
    img = np.expand_dims(img, axis = 0)
    img = vgg19.preprocess_input(img)
    return img
def deprocess_image(x):
    # ImageNetから平均ピクセルを取り除くことで、中心を0に設定する
    # これによりvgg19.preprocess_inputによって実行された変換を逆にする
    x[:, :, 0] += 103.939
    x[:, :, 1] += 117.779
    x[:, :, 2] += 123.68 
    # フォーマットをBGRからRGBに変換
    x = x[:, :, :: -1]    
    x = np.clip(x, 0, 255).astype('uint8')    
    return x
# 学習済みのVGG19ネットワークを読み込み、3つの画像に適応
from keras import backend as K
target_image = K.constant(preprocess_image(target_image_path))
style_reference_image = K.constant(preprocess_image(style_reference_image_path))
# 生成された画像を保持するプレースホルダ
combination_image = K.placeholder((1, img_height, img_width, 3))
# 3つの画像を1つのテンソルにまとめる
input_tensor = K.concatenate(
    [target_image, style_reference_image, combination_image],
    axis = 0
)
# 3つの画像からなるバッチを入力として使用するVGG19モデルを構築
# この学習済みのImageNetの重みが読み込まれる
model = vgg19.VGG19(
    input_tensor = input_tensor,
    weights = 'imagenet',
    include_top = False
)
# コンテンツの損失関数
def content_loss(base, combination):
    return K.sum(K.square(combination - base))
# スタイルの損失関数
def gram_matrix(x):
    features = K.batch_flatten(K.permute_dimensions(x, (2, 0, 1)))
    gram = K.dot(features, K.transpose(features))
    return gram
def style_loss(style, combination):
    S = gram_matrix(style)
    C = gram_matrix(combination)
    channels = 3
    size = img_height * img_width
    return K.sum(K.square(S - C)) / (4 * (channels ** 2) * (size ** 2))
# 全変動損失関数
def total_varidation_loss(x):
    a = K.square(
        x[:, : img_height - 1, :img_width - 1, :] - 
        x[:, 1:, :img_width -1:, :]
    )
    b = K.square(
        x[:, : img_height - 1, :img_width - 1, :] - 
        x[:, : img_height - 1, 1:, :]
    )
    return K.sum(K.pow(a + b, 1.25))
# 最小化の対象となる最終的な損失関数の定義
# 層の名前をテンソルにマッピングするディクショナリ
outputs_dict = dict([(layer.name, layer.output) for layer in model.layers])
# コンテンツの損失関数に利用する層の名前
content_layer = 'block5_conv2'
# スタイルの損失関数に利用する層の利用
style_layers = [
    'block1_conv1',
    'block2_conv1',
    'block3_conv1',
    'block4_conv1',
    'block4_conv1',
    'block5_conv1'
]
# 損失関数の加重平均の重み
total_varidation_weight = 1e-4
style_weight = 1
content_weight = 0.025
# すべてのコンポーネントをこのスカラー変数に追加することで、損失関数を定義
loss = K.variable(0)
# コンテンツの損失関数を追加
layer_features = outputs_dict[content_layer]
target_image_features = layer_features[0, :, :, :]
combination_features = layer_features[2, :, :, :]
loss = loss + content_weight * content_loss(target_image_features, combination_features)
# 各ターゲット層のスタイルの損失関数を追加
for layer_name in style_layers:
    layer_features = outputs_dict[layer_name]
    style_reference_features = layer_features[1, :, :, :]
    combination_features = layer_features[2, :, :, :]
    sl = style_loss(style_reference_features, combination_features)
    loss += (style_weight / len(style_layers)) * sl 
loss += total_varidation_weight * total_varidation_loss(combination_image)
# 勾配降下法のプロセスを定義
# 損失関数をもとに、生成された画像の勾配を取得する
grads = K.gradients(loss, combination_image)[0]
# 現在の損失関数の値と勾配の値を取得するための関数
fetch_loss_and_grads = K.function([combination_image], [loss, grads])
class Evaluator(object):
    def __init__(self):
        self.loss_value = None
        self.grads_values = None
    def loss(self, x):
        assert self.loss_value is None
        x = x.reshape((1, img_height, img_width, 3))
        outs = fetch_loss_and_grads([x])
        loss_value = outs[0]
        grad_values = outs[1].flatten().astype('float64')
        self.loss_value = loss_value
        self.grad_values = grad_values
        return self.loss_value
    def grads(self, x):
        assert self.loss_value is not None
        grad_values = np.copy(self.grad_values)
        self.loss_value = None
        self.grad_values = None
        return grad_values
evaluator = Evaluator()
# スタイル変換ループ
from scipy.optimize import fmin_l_bfgs_b
import imageio
import time
result_prefix = './StyleTransfer/style_transfer_result'
iterations = 20
# 初期状態（ターゲット画像）
x = preprocess_image(target_image_path)
# 画像を平坦化
x = x.flatten()
for i in range(iterations):
    print('Start of iteration', i)
    start_time = time.time()
    x, min_val, info = fmin_l_bfgs_b(
        evaluator.loss,
        x,
        fprime = evaluator.grads,
        maxfun = 20
    )
    print('Current loss value', min_val)
    # 現在の画像を保存する
    img = x.copy().reshape((img_height, img_width, 3))
    img = deprocess_image(img)
    fname = result_prefix + '_at_iteration_%d.png' % i
    imageio.imwrite(fname, img)
    end_time = time.time()
    print('Image save as', fname)
    print('Iteration %d completed in %ds' % (i, end_time - start_time))

使用した画像

Elephant.jpg

transfer_style_reference.jpg

補足情報（FW/ツールのバージョンなど）

OS：Windows10
Pythonのバージョン：Python 3.7.4
kerasのバージョン：2.3.1
tensorflowのバージョン：'1.15.0'
記述・実行：Jupyter Notebook
Anacondaを使ってPythonをインストールしました．

Comments

[yymmt]

GPUが呼ばれているようですがグラフィックボードは何をお使いでしょうか?

[coco_bauer]

『「imsaveモジュール」ではなく「imageioモジュール」にしました』という変更をした理由は？

「RunOptionsに'report_tensor_allocations_upon_oom'を追加すると、メモリ不足(oom [Out of Memory])が起きた時のアロケート済みのテンソルのリストが見られる」との助言がエラーメッセージに書かれていますが、やってみましたか？

[Mr.AK]

yymmt 様、coco_bauer 様 ありがとうございます．
メモリ不足とのことだったので画像の大きさを小さくすることでbatch_sizeを減らしてみたところ、何とか実行することができました！

Answer 1

メモリ消費量を減らすために「img_height = 400」の値を小さくしてみたところ、実行することができました．