画像を学習させて、そこから数値を出すには

Question

現在、画像に数値をラベル付けして以下のような分類を行っているのですが、カテゴリーを出力するのではなく(下のコードの例ならば'_30'など)、数値を出力したい場合はどのようにすればよいでしょうか？

尚、こちらのサイトを参考にさせていただきました。
https://qiita.com/kazuki_hayakawa/items/c93a21313ccbd235b82b

このようにすると数値の分だけフォルダを作成しなければならない気がしておりまして、大変だと思い、最後の活性化関数の値と、出力値が対応できればと考えております。

例えばですが、画像が42という値をもっていて、それを読み込むと42に近い値が出力される，といったものです．下にあるモデルだと，出力として30_90が出力されます．

参考コードです．
まず、こちらで学習します。

import os

from keras.applications.vgg16 import VGG16

from keras.preprocessing.image import ImageDataGenerator

from keras.models import Sequential, Model

from keras.layers import Input, Activation, Dropout, Flatten, Dense

from keras import optimizers

import numpy as np

# 分類するクラス

classes = ['0','_30','30_90','_100']

nb_classes = len(classes)



img_width, img_height = 160, 120



# トレーニング用とバリデーション用の画像格納先

train_data_dir = 'train_for_CNN_5_train'

validation_data_dir = 'validation_for_CNN'



# 今回はトレーニング用に376枚、バリデーション用に101枚の画像を用意した。

nb_train_samples = 376

nb_validation_samples = 101



batch_size = 10

nb_epoch = 100





result_dir = 'Results'

if not os.path.exists(result_dir):

    os.mkdir(result_dir)





def vgg_model_maker():

    """ VGG16のモデルをFC層以外使用。FC層のみ作成して結合して用意する """



    # VGG16のロード。FC層は不要なので include_top=False

    input_tensor = Input(shape=(img_width, img_height, 3))

    vgg16 = VGG16(include_top=False, weights='imagenet', input_tensor=input_tensor)



    # FC層の作成

    top_model = Sequential()

    top_model.add(Flatten(input_shape=vgg16.output_shape[1:]))

    top_model.add(Dense(256, activation='relu'))

    top_model.add(Dropout(0.5))

    top_model.add(Dense(nb_classes, activation='softmax'))



    # VGG16とFC層を結合してモデルを作成

    model = Model(input=vgg16.input, output=top_model(vgg16.output))



    return model





def image_generator():

    """ ディレクトリ内の画像を読み込んでトレーニングデータとバリデーションデータの作成 """

    train_datagen = ImageDataGenerator(

        rescale=1.0 / 255,

        zoom_range=0.2,

        horizontal_flip=True)



    validation_datagen = ImageDataGenerator(rescale=1.0 / 255)



    train_generator = train_datagen.flow_from_directory(

        train_data_dir,

        target_size=(img_width, img_height),

        color_mode='rgb',

        classes=classes,

        class_mode='categorical',

        batch_size=batch_size,

        shuffle=True)



    validation_generator = validation_datagen.flow_from_directory(

        validation_data_dir,

        target_size=(img_width, img_height),

        color_mode='rgb',

        classes=classes,

        class_mode='categorical',

        batch_size=batch_size,

        shuffle=True)



    return (train_generator, validation_generator)





if __name__ == '__main__':

    start = time.time()



    # モデル作成

    vgg_model = vgg_model_maker()



    # 最後のconv層の直前までの層をfreeze

    for layer in vgg_model.layers[:15]:

        layer.trainable = False



    # 多クラス分類を指定

    vgg_model.compile(loss='categorical_crossentropy',

              optimizer=optimizers.SGD(lr=1e-3, momentum=0.9),

              metrics=['accuracy'])



    # 画像のジェネレータ生成

    train_generator, validation_generator = image_generator()



    # Fine-tuning

    history = vgg_model.fit_generator(

        train_generator,

        samples_per_epoch=nb_train_samples,

        nb_epoch=nb_epoch,

        validation_data=validation_generator,

        nb_val_samples=nb_validation_samples)



    vgg_model.save_weights(os.path.join(result_dir, 'finetuning.h5'))

その後、こちらで判定を行います。

import os, sys

import numpy as np

from keras.applications.vgg16 import VGG16

from keras.models import Sequential, Model

from keras.layers import Input, Activation, Dropout, Flatten, Dense

from keras.preprocessing import image

from keras import optimizers



classes = ['0','_30','30_90','_100']

nb_classes = len(classes)

img_width, img_height = 160, 120



result_dir = 'Results'



# このディレクトリにテストしたい画像を格納しておく

test_data_dir = 'D:/image_data/_100'



def model_load():

    # VGG16, FC層は不要なので include_top=False

    input_tensor = Input(shape=(img_width, img_height, 3))

    vgg16 = VGG16(include_top=False, weights='imagenet', input_tensor=input_tensor)



    # FC層の作成

    top_model = Sequential()

    top_model.add(Flatten(input_shape=vgg16.output_shape[1:]))

    top_model.add(Dense(256, activation='relu'))

    top_model.add(Dropout(0.5))

    top_model.add(Dense(nb_classes, activation='softmax'))



    # VGG16とFC層を結合してモデルを作成

    model = Model(input=vgg16.input, output=top_model(vgg16.output))



    # 学習済みの重みをロード

    model.load_weights(os.path.join(result_dir, 'finetuning.h5'))



    # 多クラス分類を指定

    model.compile(loss='categorical_crossentropy',

              optimizer=optimizers.SGD(lr=1e-3, momentum=0.9),

              metrics=['accuracy'])



    return model





if __name__ == '__main__':



    # モデルのロード

    model = model_load()



    # テスト用画像取得

    test_imagelist = os.listdir(test_data_dir)



    for test_image in test_imagelist:

        filename = os.path.join(test_data_dir, test_image)

        img = image.load_img(filename, target_size=(img_width, img_height))

        x = image.img_to_array(img)

        x = np.expand_dims(x, axis=0)

        # 学習時に正規化してるので、ここでも正規化

        x = x / 255

        pred = model.predict(x)[0]



        # 予測確率が高いトップを出力

       

        top = 3

        top_indices = pred.argsort()[-top:][::-1]

        result = [(classes[i], pred[i]) for i in top_indices]

        print('file name is', test_image)

        print(result)

        print('=======================================')

Comments

[Q71]

質問文は、色々省略されているように思います。
「42」と書いてある画像を学習するのでしょうか。それとも、例えばビーカーに入っている水が「およそ42cc」というのを出したいのでしょうか。
前者なら、0〜9を学習して、物体検出を行い、検出した位置から最終的な「数字」を出すことができそうです。

[blackmk]

修正依頼ありがとうございます．後者の方の検証を行いたいと考えてます．

Answer 1

このようにすると数値の分だけフォルダを作成しなければならない気がしておりまして

はいその通りです。

具体的にどのようなことをしたいのかは分かりませんが、別のアプローチで解決すべき問題だと思います。

追記

例えばですが、学習済みCNNモデル(InceptionV3, Vgg16など)を用いて特徴抽出を行い、その特徴量を用いてクラスタリング（例えばk-means法）を用いて分類し、最後に対応するクラスにラベルをつけるということなら可能かもしれません。

Comments

[blackmk]

ご回答ありがとうございます。そうですね，たしかにそのまま行うのは大変そうなので，手法の検討をしたいと思います．ありがとうございました。