CNN 機械学種 画像分類で教えて下さい。

Question

CNNのネットワークを組んで
MNISTを用いて画像認識をしています。

意味がわかっていない部分があり教えて欲しいです。
下記はCNNの画像分類のプログラムになります。
質問は、
・カーネルと呼ばれている特徴を叩き出すフィルターの中は乱数なのでしょうか。
・深さとは何なのか教えてもらえますか。

イメージがつかめていないのですが、

extract image features by convolution and max pooling layers

から
CNNの本格的なネットワークの構成の指示が始まっています。
そこで、
このケースではフィルタとなるカーネルサイズ（フィルター）は5×5のサイズを指定しています。
・このフィルターの中は乱数なのでしょうか。
このフィルターは１マスずつ動けば縦横23回移動するので
28×28で構成されているMNISTの画像データは
24×24のサイズになります。
この24×24のサイズのマトリックスを特徴マップと言われている。
・ここで、特徴マップと深さと言われている２０はどの様な関係にあるのか
・深さとは一体何なのか理解できません
教えていただけますでしょうか。

import os
import keras
from keras.models import Sequential
from keras.layers.convolutional import Conv2D
from keras.layers.convolutional import MaxPooling2D
from keras.layers.core import Activation
from keras.layers.core import Flatten
from keras.layers.core import Dense
from keras.datasets import mnist
from keras.optimizers import Adam
from keras.callbacks import TensorBoard


def lenet(input_shape, num_classes):
    model = Sequential()

    # extract image features by convolution and max pooling layers
    model.add(Conv2D(
        20, kernel_size=5, padding="same",
        input_shape=input_shape, activation="relu"
        ))
    model.add(MaxPooling2D(pool_size=(2, 2)))
    model.add(Conv2D(50, kernel_size=5, padding="same", activation="relu"))
    model.add(MaxPooling2D(pool_size=(2, 2)))
    # classify the class by fully-connected layers
    model.add(Flatten())
    model.add(Dense(500, activation="relu"))
    model.add(Dense(num_classes))
    model.add(Activation("softmax"))
    return model


class MNISTDataset():

    def __init__(self):
        self.image_shape = (28, 28, 1)  # image is 28x28x1 (grayscale)
        self.num_classes = 10

    def get_batch(self):
        (x_train, y_train), (x_test, y_test) = mnist.load_data()

        x_train, x_test = [self.preprocess(d) for d in [x_train, x_test]]
        y_train, y_test = [self.preprocess(d, label_data=True) for d in
                           [y_train, y_test]]

        return x_train, y_train, x_test, y_test

    def preprocess(self, data, label_data=False):
        if label_data:
            # convert class vectors to binary class matrices
            data = keras.utils.to_categorical(data, self.num_classes)
        else:
            data = data.astype("float32")
            data /= 255  # convert the value to 0~1 scale
            shape = (data.shape[0],) + self.image_shape  # add dataset length
            data = data.reshape(shape)

        return data


class Trainer():

    def __init__(self, model, loss, optimizer):
        self._target = model
        self._target.compile(
            loss=loss, optimizer=optimizer, metrics=["accuracy"]
            )
        self.verbose = 1
        logdir = "logdir_lenet"
        self.log_dir = os.path.join(os.path.dirname(__file__), logdir)

    def train(self, x_train, y_train, batch_size, epochs, validation_split):
        if os.path.exists(self.log_dir):
            import shutil
            shutil.rmtree(self.log_dir)  # remove previous execution
        os.mkdir(self.log_dir)

        self._target.fit(
            x_train, y_train,
            batch_size=batch_size, epochs=epochs,
            validation_split=validation_split,
            callbacks=[TensorBoard(log_dir=self.log_dir)],
            verbose=self.verbose
        )


dataset = MNISTDataset()

# make model
model = lenet(dataset.image_shape, dataset.num_classes)

# train the model
x_train, y_train, x_test, y_test = dataset.get_batch()
trainer = Trainer(model, loss="categorical_crossentropy", optimizer=Adam())
trainer.train(
    x_train, y_train, batch_size=128, epochs=12, validation_split=0.2
    )

# show result
score = model.evaluate(x_test, y_test, verbose=0)
print("Test loss:", score[0])
print("Test accuracy:", score[1])

Answer 1

・このフィルターの中は乱数なのでしょうか。

初期値は基本的に乱数です。フィルターの中身を更新していくことが学習に相当します。

・深さとは一体何なのか理解できません

深さ（チャネル数と呼ぶことが多い）が20であれば、カーネル（フィルタ）が20個存在します。

元の画像にそれぞれのカーネルを掛け合わせることで、20枚の画像が出来上がります。
つまり、24×24×20のテンソルが得られます。
これを繰り返していきます。

以下の記事がイメージはつかみやすいと思います。
Convolutional Neural Networkとは何なのか - Qiita

Comments

[watchdogs]

早速の返答ありがとうございます！

わかりました　ありがとうございます。
フィルターの中身を更新（学習）と言うのは
全結合（DENSE）の場合と違ってCNNでは
カーネルが移動されるたびに更新されるのでしょうか。

それと深さですが、
イメージ的にボカしたバージョンやシャープにしたりとランダムで
画像が加工されるイメージで良いでしょうか。

[Amakaze]

一点目の学習の仕方についてですが、損失関数は最終出力まで計算しないと、計算できません。そのため、カーネルを移動させるたびに更新するようなことは理論上できません。そのため、平均をとるような形になります。

深さのイメージはそれであってます。学習を進めるにしたがって、カーネルごとに特徴的な形を抽出したり、色を抽出したり、識別に有用な情報を取り出すようになっていきます。（形や色のように、人間に理解できるものとは限りませんが）

[watchdogs]

ご回答ありがとうございます。
損失関数の出力後でしたら
学習毎に重みが更新され、
フィルターの内部の数値も更新されると言うことなのでしょうか。

[Amakaze]

ようするにフィルタの数値＝重みです。

[watchdogs]

通常全結合の場合はバックプロパゲージョンによって
重みが更新されますが、
CNNのフィルターもバックプロパゲージョンのタイミングで更新されるのでしょうか。
すみません。
何度も聞いてしまいまして。
わからないので教えていただけると大変助かります。

[Amakaze]

すいませんが、本来の質問と違う質問を延々と繰り返すのはやめていただけませんか。わからないことは自分で調べて、それでも理解できない点があるのであれば、ちゃんと別の質問として立て直してください。さすがに付き合いきれません。

[watchdogs]

わかりました。申し訳ございません。ただ調べてもよくわからなくて、悪気はございませんでした。ありがとうございました。