python 機械学習

Question

機械学習で画像分類を行なっています

# coding:utf-8
import keras
from keras.utils import np_utils
from keras.layers.convolutional import Conv2D, MaxPooling2D
from keras.models import Sequential
from keras.layers.core import Dense, Dropout, Activation, Flatten
from keras.preprocessing.image import array_to_img, img_to_array, list_pictures, load_img
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
from sklearn.metrics import confusion_matrix
from sklearn.neighbors import KNeighborsClassifier
from sklearn.model_selection import train_test_split

X = []#train
Y = []
A = []#validation
B = []
V = []#test
W = []

ep = 10
size = 10,10



# aの画像
for picture in list_pictures('dir/train/a'):
    img = img_to_array(load_img(picture, target_size=(size)))
    X.append(img)
    Y.append(0)

for picture in list_pictures('dir/vali/a'):
    img = img_to_array(load_img(picture, target_size=(size)))
    A.append(img)
    B.append(0)

for picture in list_pictures('dir/test/a'):
    img = img_to_array(load_img(picture, target_size=(size)))
    V.append(img)
    W.append(0)

# bの画像
for picture in list_pictures('dir/train/b'):
    img = img_to_array(load_img(picture, target_size=(size)))
    X.append(img)
    Y.append(1)

for picture in list_pictures('dir/vali/b'):
    img = img_to_array(load_img(picture, target_size=(size)))
    A.append(img)
    B.append(1)

for picture in list_pictures('dir/test/b'):
    img = img_to_array(load_img(picture, target_size=(size)))
    V.append(img)
    W.append(1)

# cの画像
for picture in list_pictures('dir/train/c'):
    img = img_to_array(load_img(picture, target_size=(size)))
    X.append(img)
    Y.append(2)

for picture in list_pictures('dir/vali/c'):
    img = img_to_array(load_img(picture, target_size=(size)))
    A.append(img)
    B.append(2)

for picture in list_pictures('dir/test/c'):
    img = img_to_array(load_img(picture, target_size=(size)))
    V.append(img)
    W.append(2)

X = np.asarray(X)
Y = np.asarray(Y)
A = np.asarray(A)
B = np.asarray(B)
V = np.asarray(V)
W = np.asarray(W)

# 画素値を0から1の範囲に変換
X = X.astype('float32')
X = X / 255.0
A = A.astype('float32')
A = A / 255.0
V = V.astype('float32')
V = V / 255.0

# クラスの形式を変換
Y = np_utils.to_categorical(Y, 3)#(ベクトル変換したいラベル、配列数)
B = np_utils.to_categorical(B, 3)
W = np_utils.to_categorical(W, 3)

X_train, Y_train = (X, Y)
A_vali, B_vali = (A, B)
V_test, W_test = (V, W)

# 【CNNを構築】
model = Sequential()
model.add(Conv2D(32, (3, 3), padding='same',
                 input_shape=X_train.shape[1:]))
model.add(Activation('relu'))
model.add(Conv2D(32, (3, 3)))
model.add(Activation('relu'))
model.add(MaxPooling2D(pool_size=(2, 2)))
model.add(Dropout(0.4))
model.add(Conv2D(64, (3, 3), padding='same'))
model.add(Activation('relu'))
model.add(Conv2D(64, (3, 3)))
model.add(Activation('relu'))
model.add(MaxPooling2D(pool_size=(2, 2)))
model.add(Dropout(0.4))
model.add(Flatten())
model.add(Dense(512))
model.add(Activation('relu'))
model.add(Dropout(0.4))
model.add(Dense(3))#カテゴリー数
model.add(Activation('softmax'))

# 【コンパイル】
model.compile(loss='categorical_crossentropy',#損失関数
              optimizer='adam',#最適化、オブジェクト
              metrics=['accuracy'])#評価関数、正解率

#【学習実行】
history = model.fit(X_train, Y_train, batch_size=2048, epochs=ep,
                    validation_data = (A_vali, B_vali), verbose = 1)

score = model.evaluate(V_test, W_test, verbose = 1)
print("test_acc", score[1], "test_loss", score[0])

機械学習後に

import cv2
import numpy as np
import os
import glob
%matplotlib inline

size = 10,10,3
# ラベル情報
labels = ["a","b","c"]

# モデルデータを読み込み
model.load_weights('weight.h5')

files = glob.glob("Desktop/test/a/*.png")
for f in files:
    im = cv2.imread(f, cv2.COLOR_BGR2RGB)
    im = cv2.cvtColor(im, cv2.COLOR_BGR2RGB)
    im = cv2.resize(im, (10,10))
    plt.imshow(im)
    plt.show()
    im = im.reshape(size).astype('float32') / 255
    r = model.predict(np.array([im]), batch_size=32,verbose=1)
    res = r[0]
    for i, acc in enumerate(res):
        print(labels[i], "=", int(acc * 100))
    if labels[0] == res.argmax():
        print("予測結果=", labels[res.argmax()])
        
    else:
            print("予測結果=", labels[res.argmax()])
            if res.argmax() == 1:
                print("bです")
                img = cv2.imread('dir/b.png')
                img = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)
                img = cv2.resize(img, (300,300))
                plt.imshow(img)
                plt.show()
                
            elif res.argmax() == 2:
                print("cです")
                img = cv2.imread('dir/c.png')
                img = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)
                img = cv2.resize(img, (300,300))
                plt.imshow(img)
                plt.show()
                

理想はこのような感じです

#a画像の表示 #b画像の表示
1/1 [==============================] - 0s 978us/step
a=1
b=90
c=10
予測結果= b

#上記を文章も含めてこのまま画像として保存したい

このようにtest画像を読み、どの画像をどのように間違っていたか評価しています。
a画像をbと間違っていた場合、bの画像を表示するようにしています。
誤判定していた場合に隣に画像を並べる場合に、隣同士で並べ、指定したフォルダに文章ごと保存したいですが、どのようにしたらいいでしょうか？

Answer 1

既に処理にopencvを用いているのでopencvを使えば実現可能と思います。
二枚の画像を一つに結合するなら、cv2.hconcat()
画像に文字を埋め込むなら、cv2.putText()
指定したフォルダに保存するには、cv2.imwrite()