keras 画像分類に使用した検証画像をクラス分類ごとに保存したい

Question

前提

機械学習初心者です。
vgg16の転移学習で二値分類を行っています。
ほぼコピペですが学習・検証まで行えました。
なんとかコンフュージョンマトリクスの作成までこぎつけました。
学習・検証のために画像をnumpy.ndarray型に変換しているのだとは思いますが、これは可逆的なものなのでしょうか？

実現したいこと

・検証に使用しTP・TN・FP・FNに振り分けられたそれぞれの画像を再度ｊｐｇの形式で保存したいです。できればフォルダごとに分けたいです。

該当のソースコード

import tensorflow as tf
from tensorflow.keras.preprocessing import image_dataset_from_directory
from sklearn.model_selection import train_test_split
import matplotlib.pyplot as plt
import numpy as np


# 画像ディレクトリ
IMG_DIR = "/content/drive/My Drive/images4"
# バッチサイズ
BATCH_SIZE = 32
# VGG16を使用するため以下のサイズに設定
IMAGE_SIZE = (224, 224)
IMAGE_SHAPE = IMAGE_SIZE + (3, )

# 訓練、検証、テストの比率
TRAIN_SIZE = 0.9
VALIDATION_SIZE = 0.1

# 実行毎に同一の結果が得られるようシード値を固定
RANDOM_STATE = 123

# 学習率
LEARNING_RATE = 3e-5

# エポック数
INITIAL_EPOCHS = 10

# ------------------------------------------------------------
# 1.画像とラベル取得と訓練・検証・テスト分割
# ------------------------------------------------------------
# (1) 画像読み込み
image_dataset = image_dataset_from_directory(IMG_DIR,
                                             shuffle=False,
                                             batch_size=BATCH_SIZE,
                                             image_size=IMAGE_SIZE
                                             )

# (2) 画像データセットをX:画像とY:クラス名で各々配列化
image_class_names = image_dataset.class_names
img_X = []
img_Y = []
for img_ds_batch in list(image_dataset.as_numpy_iterator()):
    img_X.extend(img_ds_batch[0])
    img_Y.extend(img_ds_batch[1])

img_X = np.asarray(img_X)
img_Y = np.asarray(img_Y)

# (3) 画像データの標準化
img_X = tf.keras.applications.vgg16.preprocess_input(img_X)

# (4) データセットを訓練・検証・テストに分割
# データセットを[train, (validation + test)]に分割
img_X_train, img_X_valid, img_Y_train, img_Y_valid = train_test_split(
    img_X, img_Y,
    train_size=TRAIN_SIZE,
    random_state=RANDOM_STATE,
    stratify=img_Y)

# ------------------------------------------------------------
# 2.モデル構築と学習
# ------------------------------------------------------------
# (1) 転移学習のベースモデルとしてVGG16を宣言
base_model = tf.keras.applications.vgg16.VGG16(include_top=False,
                                               input_shape=IMAGE_SHAPE,
                                               weights='imagenet')

# (2) 畳み込みベースの凍結
base_model.trainable = False

# (3) モデル構築
# Flatten(=平坦化層)追加
x = tf.keras.layers.Flatten()(base_model.output)
# FC1層追加
x = tf.keras.layers.Dense(4096, activation='relu')(x)
# FC2層追加
x = tf.keras.layers.Dense(4096, activation='relu')(x)
# 入力画像の形状
transfer_learning_inputs = base_model.inputs
# predictions層の追加
# 今回分類するクラス数を指定
image_class_num = len(image_class_names)
transfer_learning_prediction = tf.keras.layers.Dense(
                                 image_class_num, activation='softmax')(x)
# 転移学習モデル構築
transfer_learning_model = tf.keras.Model(inputs=transfer_learning_inputs,
                                         outputs=transfer_learning_prediction)

# (4) モデルのコンパイル
transfer_learning_model.compile(optimizer=
                                    tf.keras.optimizers.Adam(learning_rate=LEARNING_RATE),
                                loss='sparse_categorical_crossentropy',
                                metrics=['accuracy'])

# (5) モデルの学習
history = transfer_learning_model.fit(img_X_train, img_Y_train,
                                      epochs=INITIAL_EPOCHS,
                                      batch_size=BATCH_SIZE,
                                      validation_data=(img_X_valid, img_Y_valid))


# (6) 最終的なValidationデータの評価
from sklearn.metrics import confusion_matrix
import itertools

print(transfer_learning_model.evaluate(img_X_valid, img_Y_valid, verbose=0))

def plot_confusion_matrix(cm, classes,
                          normalize=False,
                          title='Confusion matrix',
                          cmap=plt.cm.Blues):
    """
    This function prints and plots the confusion matrix.
    Normalization can be applied by setting `normalize=True`.
    """
    if normalize:
        cm = cm.astype('float') / cm.sum(axis=1)[:, np.newaxis]
        print("Normalized confusion matrix")
    else:
        print('Confusion matrix, without normalization')

    print(cm)

    plt.imshow(cm, interpolation='nearest', cmap=cmap)
    plt.title(title)
    plt.colorbar()
    tick_marks = np.arange(len(classes))
    plt.xticks(tick_marks, classes, rotation=45)
    plt.yticks(tick_marks, classes)

    fmt = '.2f' if normalize else 'd'
    thresh = cm.max() / 2.
    for i, j in itertools.product(range(cm.shape[0]), range(cm.shape[1])):
        plt.text(j, i, format(cm[i, j], fmt),
                 horizontalalignment="center",
                 color="white" if cm[i, j] > thresh else "black")

    plt.tight_layout()
    plt.ylabel('True label')
    plt.xlabel('Predicted label')


pred_y = transfer_learning_model.predict(img_X_valid)
pred_y_classes = np.argmax(pred_y,axis = 1)  
confusion_mtx = confusion_matrix(img_Y_valid,pred_y_classes) 
plot_confusion_matrix(confusion_mtx, classes = range(2)) 

ここに問題に対して試したことを記載してください。

補足情報（FW/ツールのバージョンなど）

google colab上でtensorflow・keras

ここにより詳細な情報を記載してください。

Comments

[jbpb0]

> 画像をnumpy.ndarray型に変換しているのだとは思いますが、これは可逆的なものなのでしょうか？

> 再度ｊｐｇの形式で保存したい

の「可逆的」の意味が、pythonで画像ファイルを読み込んだnumpy配列を画像ファイルに保存したら、元の画像ファイルと同じものが保存できるか？
という意味ならば、画像ファイルがjpgの場合は元の画像ファイルと同じものは保存できないので、「可逆的」ではありません

たとえば、下記を例にします
Aがもともとの画像ファイル、αがkerasでの学習に使われたデータです

jpg画像A
↓ pythonで読み込む
numpy配列α
↓ jpg画像ファイルに保存
jpg画像B
↓ pythonで読み込む
numpy配列β

「可逆的」の意味が、上記例でもし
・AとBが全く同じになる
または
・αとβが全く同じになる
という意味なら、画像ファイルがjpgの場合はどちらもムリなので、「可逆的」ではありません

> 検証に使用しTP・TN・FP・FNに振り分けられたそれぞれの画像を再度ｊｐｇの形式で保存したいです。できればフォルダごとに分けたいです。

質問内容が、もし
・AIの分類結果に基づき、もともとの「画像ファイル」を、分類ラベル別のディレクトリに「ファイルのコピー」をする
と、
・AIの分類結果に基づき、もともとの「画像ファイルを読み込んだデータ」を、分類ラベル別のディレクトリに「画像ファイルとして保存」する
が、結果同じになるのか？
というものなら、画像ファイルがjpgの場合は同じにはなりません

質問の意味を勘違いしてたら、ごめんなさい

[jbpb0]

上記コメントに私が書いた

> 画像ファイルがjpgの場合は元の画像ファイルと同じものは保存できない

は、

import numpy as np
import cv2
aaa = cv2.imread("元のjpg画像ファイルのパス")
cv2.imwrite("bbb.jpg", aaa, [cv2.IMWRITE_JPEG_QUALITY, 100])
bbb = cv2.imread("bbb.jpg")
abdiff = aaa.astype("float") - bbb.astype("float")
print(np.max(abdiff))
print(np.min(abdiff))

を実行したら分かります

numpy配列「aaa」と「bbb」は、コードの最後の二行の表示結果から同じではないことが分かります
それはすなわち、「元のjpg画像ファイル」と「bbb.jpg」が同じではないということです

もしかすると、「元のjpg画像ファイル」によっては(画素値変化が画像全体で非常に滑らかで少ない等)、numpy配列「aaa」と「bbb」が同じになる場合もあるかもしれませんが、それは非常に稀なケースです
一般的な画像で上記コードを実行したら、numpy配列「aaa」と「bbb」は同じにはなりません

[lotta]

ありがとうございます。
全く同じ画像にならないということがおぼろげながら理解できました。
下記のコードでなんとか保存ができました。
しかし色などがおかしくなってしまっています。
極力もとの画像に近づけることはできないでしょうか。

from PIL import Image
im = Image.fromarray(((img_X_valid[1])*255).astype(np.uint8))
im.save("TP.jpeg")

ご教授頂けると幸いです。

[jbpb0]

コメントに私が書いた

> 画像ファイルがjpgの場合は元の画像ファイルと同じものは保存できない

は、画素値を数値として比較したら分かるけど、画像を見比べてもすぐにはなかなか分からないくらいのレベルの話なので、

> 色などがおかしくなってしまっています。

は、原因が違います

> # (3) 画像データの標準化
img_X = tf.keras.applications.vgg16.preprocess_input(img_X)

で、
https://snowman-88888.hatenablog.com/entry/2017/04/01/043624
の「特徴」に書かれてるように、RGBからBGRに変更するとか、各色の平均値(？)「103.939, 116.779, 123.68」を引くとかしてるので、その逆をしないといけません

https://tensorflow.classcat.com/2022/07/02/keras-2-examples-generative-neural-style-transfer/
の「画像前処理 / deprocessing ユティリティ」の「def deprocess_image(x):」を参考にしてみてください

[lotta]

勉強になりました。
tf.keras.applications.vgg16.preprocess_input　のところでVGG16に適した形に変換されているということですね。

戻すのなかなか大変なプロセスのように感じました。
参考にします。

別のアプローチになりますが、
検証用の画像にどのpred_y_classesが割り当てられたか特定することできますか？
例えばpred_y_classesをすべて表示させて、〇番目が0とか…
もとのファイル名をわかりやすく1.jpg 2.jpg 3.jpg....
という感じにすれば特定できるのではないかと考えました。

[jbpb0]

https://qiita.com/haru1977/items/7aaf1eaeb0747fe613be
に書かれてるようにすれば、

> # (4) データセットを訓練・検証・テストに分割
# データセットを[train, (validation + test)]に分割
img_X_train, img_X_valid, img_Y_train, img_Y_valid = train_test_split(...

で分割する前の「img_X」内での順番を知ることはできると思いますが、それを利用するには、

> # (1) 画像読み込み
image_dataset = image_dataset_from_directory(IMG_DIR,...

と

> # (2) 画像データセットをX:画像とY:クラス名で各々配列化
image_class_names = image_dataset.class_names

で作成された「img_X」に、もともとの各画像ファイルがどのような順番で格納されてるのか、を把握しておく必要があります

「image_dataset_from_directory()」に「shuffle=False」を付けて実行してるので、おそらくファイル名順等の規則的な順番だろうとは思いますが、よく知りません

仮にファイル名順で格納されてるとしても、「30.jpg」と「5.jpg」のどちらが先になるのか、みたいな話もありますし

【追記】
https://stackoverflow.com/questions/62166588/how-to-obtain-filenames-during-prediction-while-using-tf-keras-preprocessing-ima
に、「image_dataset_from_directory()」で読み込んだ画像ファイルのパス(の並び)を取得する方法が書かれてました

https://qiita.com/haru1977/items/7aaf1eaeb0747fe613be
に書かれてる方法で、画像ファイルのパス(の並び)も「train_test_split()」で一緒に分割させることができるかも

[lotta]

ありがとうございます。
参考になりました。
画像の並びを確認して評価に使用することを試みます。

Answer 1

検証に使用しTP・TN・FP・FNに振り分けられたそれぞれの画像を再度ｊｐｇの形式で保存したいです。できればフォルダごとに分けたいです。

質問内容が、もし
・AIの分類結果に基づき、もともとの「画像ファイル」を、分類ラベル別のディレクトリに「ファイルのコピー」をする
と、
・AIの分類結果に基づき、もともとの「画像ファイルを読み込んだデータ」を、分類ラベル別のディレクトリに「画像ファイルとして保存」する
が、結果同じになるのか？
というものなら、画像ファイルがjpgの場合は同じにはなりません

　

画像をnumpy.ndarray型に変換しているのだとは思いますが、これは可逆的なものなのでしょうか？

再度ｊｐｇの形式で保存したい

の「可逆的」の意味が、pythonで画像ファイルを読み込んだnumpy配列を画像ファイルに保存したら、元の画像ファイルと同じものが保存できるか？
という意味ならば、画像ファイルがjpgの場合は元の画像ファイルと同じものは保存できないので、「可逆的」ではありません

import numpy as np
import cv2

aaa = cv2.imread("元のjpg画像ファイルのパス")
cv2.imwrite("bbb.jpg", aaa, [cv2.IMWRITE_JPEG_QUALITY, 100])
bbb = cv2.imread("bbb.jpg")

abdiff = aaa.astype("float") - bbb.astype("float")
print(np.max(abdiff))
print(np.min(abdiff))

を実行したら、numpy配列「aaa」と「bbb」は、コードの最後の二行の表示結果から同じではないことが分かります
それはすなわち、「元のjpg画像ファイル」と「bbb.jpg」が同じではないということです

　
もしかすると、「元のjpg画像ファイル」によっては(画素値変化が画像全体で非常に滑らかで少ない等)、numpy配列「aaa」と「bbb」が同じになる場合もあるかもしれませんが、それは非常に稀なケースです
一般的な画像で上記コードを実行したら、numpy配列「aaa」と「bbb」は同じにはなりません

Answer 2

検証に使用しTP・TN・FP・FNに振り分けられたそれぞれの画像を再度ｊｐｇの形式で保存したい

img_Y_valid,pred_y_classesを使ってTP,TN,FP,FNを求め，img_X_validを振り分けると良いでしょう．

画像をnumpy.ndarray型に変換しているのだとは思いますが、これは可逆的なものなのでしょうか？

Stack Overflow - Saving a Numpy array as an image

可逆的です．

from PIL import Image
im = Image.fromarray(img_X_valid[0])
im.save("your_file.jpeg")

として画像1枚を指定すると良いでしょう．

Comments

[lotta]

ありがとうございます。
画像の変換に関してイメージがわきました。
なんとか試みてみようと思います。
ありがとうございました。