Pythonにおける画像認識機械学習プログラムのモデル学習

Question

実現したいこと

カラー画像とそれに対応するグレースケール画像をペアとして与えて教師あり学習を行い、学習した後にグレースケール画像を与えて、カラー画像に色塗りしてくれるPythonプログラムを実装したい。

現在はカラー画像を読み込ませ、それに対応するグレースケール画像を作成し、訓練データとテストデータに分割する。
Sequential()を用いてモデルの定義
モデルのコンパイル

この次のモデルの学習で訓練データとテストデータを与えて学習させようとしたがペア画像の画像サイズが一致せず、エラーを吐かれてしまう。

発生している問題・分からないこと

カラー画像とそれに対応するグレースケール画像をモデルの学習として与えるときにカラー画像とグレースケール画像のサイズが一致していない。画像認識プログラムを作成するのも初めてで解決方法が分からない。

エラーメッセージ

WARNING:tensorflow:From C:\Users\owner\AppData\Local\Programs\Python\Python39\lib\site-packages\keras\src\losses.py:2976: The name tf.losses.sparse_softmax_cross_entropy is deprecated. Please use tf.compat.v1.losses.sparse_softmax_cross_entropy instead.

WARNING:tensorflow:From C:\Users\owner\AppData\Local\Programs\Python\Python39\lib\site-packages\keras\src\backend.py:873: The name tf.get_default_graph is deprecated. Please use tf.compat.v1.get_default_graph instead.

2024-01-13 23:52:05.829647: I tensorflow/core/platform/cpu_feature_guard.cc:182] This TensorFlow binary is optimized to use available CPU instructions in performance-critical operations.
To enable the following instructions: SSE SSE2 SSE3 SSE4.1 SSE4.2 AVX2 AVX_VNNI FMA, in other operations, rebuild TensorFlow with the appropriate compiler flags.
WARNING:tensorflow:From c:\Users\owner\.vscode\code\Python\ml\programs\rgb_to_gray copy.py:69: The name tf.train.AdamOptimizer is deprecated. Please use tf.compat.v1.train.AdamOptimizer instead.

Epoch 1/50
Traceback (most recent call last):
  File "c:\Users\owner\.vscode\code\Python\ml\programs\rgb_to_gray copy.py", line 73, in <module>
    model.fit(X_train, y_train, epochs=50, batch_size=8, validation_data=(X_test, y_test))
  File "C:\Users\owner\AppData\Local\Programs\Python\Python39\lib\site-packages\keras\src\utils\traceback_utils.py", line 70, in error_handler
    raise e.with_traceback(filtered_tb) from None
  File "C:\Users\owner\AppData\Local\Temp\__autograph_generated_filec5vu3b7a.py", line 15, in tf__train_function
    retval_ = ag__.converted_call(ag__.ld(step_function), (ag__.ld(self), ag__.ld(iterator)), None, fscope)
ValueError: in user code:

    File "C:\Users\owner\AppData\Local\Programs\Python\Python39\lib\site-packages\keras\src\engine\training.py", line 1401, in train_function  *
        return step_function(self, iterator)
    File "C:\Users\owner\AppData\Local\Programs\Python\Python39\lib\site-packages\keras\src\engine\training.py", line 1384, in step_function  **
        outputs = model.distribute_strategy.run(run_step, args=(data,))
    File "C:\Users\owner\AppData\Local\Programs\Python\Python39\lib\site-packages\keras\src\engine\training.py", line 1373, in run_step  **
        outputs = model.train_step(data)
    File "C:\Users\owner\AppData\Local\Programs\Python\Python39\lib\site-packages\keras\src\engine\training.py", line 1151, in train_step
        loss = self.compute_loss(x, y, y_pred, sample_weight)
    File "C:\Users\owner\AppData\Local\Programs\Python\Python39\lib\site-packages\keras\src\engine\training.py", line 1209, in compute_loss
        return self.compiled_loss(
    File "C:\Users\owner\AppData\Local\Programs\Python\Python39\lib\site-packages\keras\src\engine\compile_utils.py", line 277, in __call__
        loss_value = loss_obj(y_t, y_p, sample_weight=sw)
    File "C:\Users\owner\AppData\Local\Programs\Python\Python39\lib\site-packages\keras\src\losses.py", line 143, in __call__
        losses = call_fn(y_true, y_pred)
    File "C:\Users\owner\AppData\Local\Programs\Python\Python39\lib\site-packages\keras\src\losses.py", line 270, in call  **
        return ag_fn(y_true, y_pred, **self._fn_kwargs)
    File "C:\Users\owner\AppData\Local\Programs\Python\Python39\lib\site-packages\keras\src\losses.py", line 1706, in mean_squared_error
        return backend.mean(tf.math.squared_difference(y_pred, y_true), axis=-1)

    ValueError: Dimensions must be equal, but are 2048 and 256 for '{{node mean_squared_error/SquaredDifference}} = SquaredDifference[T=DT_FLOAT](sequential/conv2d_6/Sigmoid, mean_squared_error/Cast)' with input shapes: [?,2048,2048,3], [?,256,256,3].

該当のソースコード

import os
os.environ['TF_ENABLE_ONEDNN_OPTS'] = '0'

import numpy as np
import tensorflow as tf
import cv2
import glob
import keras
from sklearn.model_selection import train_test_split
from tensorflow import keras
from keras.models import Sequential
from keras.layers import Conv2D, UpSampling2D, InputLayer
#from keras.optimizers import adam_v2
from tensorflow.python.keras.optimizers import adam_v2
from keras.preprocessing.image import img_to_array
import matplotlib.pyplot as plt

# カラー画像と白黒画像のペアを用意する関数
def prepare_data(img_paths, img_size=(256, 256)):
    color_imgs = []
    gray_imgs = []

    for img_path in img_paths:
        # カラー画像
        color_img = cv2.imread(img_path)
        color_img = cv2.cvtColor(color_img, cv2.COLOR_BGR2RGB)
        color_img = cv2.resize(color_img, img_size)

        # 白黒画像
        gray_img = cv2.imread(img_path, cv2.IMREAD_GRAYSCALE)
        gray_img = cv2.resize(gray_img, img_size)
        gray_img = np.expand_dims(gray_img, axis=-1)  # チャンネル次元を追加

        color_imgs.append(color_img)
        gray_imgs.append(gray_img)

    return np.array(color_imgs), np.array(gray_imgs)

# データセットのパス
dataset_paths = glob.glob('../image/*.JPG')

# カラー画像と白黒画像のペアを用意
color_images, gray_images = prepare_data(dataset_paths)

# データを訓練データとテストデータに分割
X_train, X_test, y_train, y_test = train_test_split(gray_images, color_images, test_size=0.8, random_state=42)

# ラベルのサイズを変更
y_train = y_train[:len(X_train)]
y_test = y_test[:len(X_test)]



# モデルの定義
model = Sequential()
model.add(InputLayer(input_shape=(256, 256, 1)))
model.add(Conv2D(64, (3, 3), activation='relu', padding='same'))
model.add(Conv2D(64, (3, 3), activation='relu', padding='same'))
model.add(UpSampling2D((2, 2)))
model.add(Conv2D(128, (3, 3), activation='relu', padding='same'))
model.add(Conv2D(128, (3, 3), activation='relu', padding='same'))
model.add(UpSampling2D((2, 2)))
model.add(Conv2D(256, (3, 3), activation='relu', padding='same'))
model.add(Conv2D(256, (3, 3), activation='relu', padding='same'))
model.add(UpSampling2D((2, 2)))
model.add(Conv2D(3, (3, 3), activation='sigmoid', padding='same'))

# モデルのコンパイル
optimizer = tf.compat.v1.train.AdamOptimizer(learning_rate=0.0002)
model.compile(optimizer=optimizer, loss='mean_squared_error', metrics=['accuracy'])

# モデルの学習
model.fit(X_train, y_train, epochs=50, batch_size=8, validation_data=(X_test, y_test))

# ある白黒データに対する予測
input_gray_image = X_test[0].reshape(1, 256, 256, 1)
predicted_color_image = model.predict(input_gray_image)

# 結果の表示
plt.subplot(1, 2, 1)
plt.title('Input Grayscale Image')
plt.imshow(X_test[0].reshape(256, 256), cmap='gray')

plt.subplot(1, 2, 2)
plt.title('Predicted Color Image')
plt.imshow(predicted_color_image[0])
plt.show()

試したこと・調べたこと

• teratailやGoogle等で検索した
• ソースコードを自分なりに変更した
• 知人に聞いた
• その他

上記の詳細・結果

モデルの定義の際における画像サイズの変更などを行ったが同様のエラーが出てきた。

補足

開発環境：Visual Studio Code

tensorflow 2.15.0
tensorflow-estimator 2.15.0
tensorflow-intel 2.15.0
tensorflow-io-gcs-filesystem 0.31.0

Python 3.9.13

Comments

[meg_]

model.summary()の結果はどうなっていますか？
モデルのアウトプットが 256X256X3 になるようにしないといけないのではないでしょうか？

[dundee_dance]

Model: "sequential"
_________________________________________________________________
Layer (type) Output Shape Param #
=================================================================
conv2d (Conv2D) (None, 256, 256, 64) 640

conv2d_1 (Conv2D) (None, 256, 256, 64) 36928

up_sampling2d (UpSampling2 (None, 512, 512, 64) 0
D)

conv2d_2 (Conv2D) (None, 512, 512, 128) 73856

conv2d_3 (Conv2D) (None, 512, 512, 128) 147584

up_sampling2d_1 (UpSamplin (None, 1024, 1024, 128) 0
g2D)

conv2d_4 (Conv2D) (None, 1024, 1024, 256) 295168

conv2d_5 (Conv2D) (None, 1024, 1024, 256) 590080

up_sampling2d_2 (UpSamplin (None, 2048, 2048, 256) 0
g2D)

conv2d_6 (Conv2D) (None, 2048, 2048, 3) 6915

=================================================================
Total params: 1151171 (4.39 MB)
Trainable params: 1151171 (4.39 MB)
Non-trainable params: 0 (0.00 Byte)
_________________________________________________________________
None

モデルのコンパイルの後にやった結果がこうなっています。

Answer 1

この次のモデルの学習で訓練データとテストデータを与えて学習させようとしたがペア画像の画像サイズが一致せず、エラーを吐かれてしまう。

下記エラーメッセージより損失関数（mean_squared_error）のところのデータの次元の不一致でエラーが発生しているようです。

ValueError: Dimensions must be equal, but are 2048 and 256 for '{{node mean_squared_error/SquaredDifference}} = SquaredDifference[T=DT_FLOAT](sequential/conv2d_6/Sigmoid, mean_squared_error/Cast)' with input shapes: [?,2048,2048,3], [?,256,256,3].

これはモデルのアウトプットの次元が（2048,2048,3）で 教師データの次元が（256,256,3）のために起きています。

下記記事はPytorchの例ですが目的は同じなので大いに参考になるかと思います。
白黒画像を 畳み込みニューラルネットワーク（CNN）を用いてカラー化する

Kerasですと下記記事が参考になるかと思います。
オートエンコーダーとしてのU-Net（自己符号化から白黒画像のカラー化まで）

Comments

[dundee_dance]

おかげで無事に入力とモデルの出力の次元の違いに気づき、自分で修正することが出来ました。
ありがとうございました。