質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
86.02%
CNN (Convolutional Neural Network)

CNN (Convolutional Neural Network)は、全結合層のみではなく畳み込み層とプーリング層で構成されるニューラルネットワークです。画像認識において優れた性能を持ち、畳み込みニューラルネットワークとも呼ばれています。

機械学習

機械学習は、データからパターンを自動的に発見し、そこから知能的な判断を下すためのコンピューターアルゴリズムを指します。人工知能における課題のひとつです。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

Q&A

解決済

CNNで画像とその画像の特徴量を合わせて学習させたい

Luiahu
Luiahu

総合スコア2

CNN (Convolutional Neural Network)

CNN (Convolutional Neural Network)は、全結合層のみではなく畳み込み層とプーリング層で構成されるニューラルネットワークです。画像認識において優れた性能を持ち、畳み込みニューラルネットワークとも呼ばれています。

機械学習

機械学習は、データからパターンを自動的に発見し、そこから知能的な判断を下すためのコンピューターアルゴリズムを指します。人工知能における課題のひとつです。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

1回答

0グッド

0クリップ

341閲覧

投稿2022/11/09 13:02

前提

現在、低解像度化された数字の識別を、以下のようなCNNのモデルで行っています。
このモデルに入力された画像からCNNによって抽出された特徴量に、以下の画像のように外部から追加された特徴量とを合わせて学習させたい場合どのようにすればよいでしょうか
今のところ以下の画像から、CNNから得られた特徴量と追加の特徴量を結合して全結合層に流せばいい、というところまでは理解できたのですが具体的な方法を教えていただきたいです。

イメージ説明

該当のソースコード

python

1network = models.Sequential() 2 3network.add(layers.Conv2D(filters=16, kernel_size=(3,3), strides=(1,1), padding='same', activation='elu', data_format="channels_last", input_shape=(256, 128, 1))) 4network.add(layers.MaxPooling2D(pool_size=(2,2), strides=None, padding='same')) 5network.add(layers.Conv2D(filters=16, kernel_size=(3,3), strides=(1,1), padding='same', activation='elu')) 6network.add(layers.MaxPooling2D(pool_size=(2,2), strides=None, padding='same')) 7network.add(layers.Conv2D(filters=16, kernel_size=(3,3), strides=(1,1), padding='same', activation='elu')) 8network.add(layers.MaxPooling2D(pool_size=(2,2), strides=None, padding='same')) 9network.add(layers.Conv2D(filters=16, kernel_size=(3,3), strides=(1,1), padding='same', activation='elu')) 10network.add(layers.MaxPooling2D(pool_size=(2,2), strides=None, padding='same')) 11network.add(layers.Conv2D(filters=16, kernel_size=(3,3), strides=(1,1), padding='same', activation='elu')) 12network.add(layers.MaxPooling2D(pool_size=(2,2), strides=None, padding='same')) 13 14 15network.add(layers.Flatten()) 16network.add(layers.Dropout(0.5)) 17network.add(layers.Dense(128, activation='elu')) 18network.add(layers.Dense(10, activation='softmax')) 19 20network.compile(optimizer='rmsprop', loss='categorical_crossentropy', metrics=['accuracy']) 21 22network.summary()

以下のような質問にはグッドを送りましょう

  • 質問内容が明確
  • 自分も答えを知りたい
  • 質問者以外のユーザにも役立つ

グッドが多くついた質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

気になる質問をクリップする

クリップした質問は、後からいつでもマイページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

下記のような質問は推奨されていません。

  • 間違っている
  • 質問になっていない投稿
  • スパムや攻撃的な表現を用いた投稿

適切な質問に修正を依頼しましょう。

PondVillege

2022/11/09 13:32

Sequentialモデルでそれを実装するには,かなりめんどくさいので,Functionalモデルで実装してみましょう.

回答1

0

ベストアンサー

Functional APIモデルを利用して実現できます.

Python

1import tensorflow as tf 2from tensorflow.python import keras 3from keras.models import Model 4from keras.layers import Conv2D, Input, Flatten, Dense, MaxPool2D, Dropout, concatenate 5from keras.optimizers import Adam 6import numpy as np 7 8image_input = Input(shape = (256, 128, 1), name = "image_input") 9append_input = Input(shape = (2,), name = "feature_input") # 追加情報の特徴量の数だけ次元数を指定する 10 11params = { # 同一のパラメータは まとめて書いておく 12 "kernel_size": (3, 3), 13 "strides": (1, 1), 14 "padding": "same", 15 "activation": "swish", # 連続関数を利用する 16 "kernel_initializer": "he_normal" # ReLUファミリ用の活性化関数を利用する 17} 18 19x = Conv2D(filters=32, **params)(image_input) 20x = MaxPool2D(pool_size=(2,2), strides=None, padding='same')(x) 21x = Conv2D(filters=23, **params)(x) 22x = MaxPool2D(pool_size=(2,2), strides=None, padding='same')(x) 23x = Conv2D(filters=16, **params)(x) 24x = MaxPool2D(pool_size=(2,2), strides=None, padding='same')(x) 25x = Conv2D(filters=11, **params)(x) 26x = MaxPool2D(pool_size=(2,2), strides=None, padding='same')(x) 27x = Conv2D(filters=8, **params)(x) 28x = MaxPool2D(pool_size=(2,2), strides=None, padding='same')(x) 29 30x = Flatten()(x) 31x = concatenate([x, append_input]) 32x = Dropout(0.5)(x) 33x = Dense(128, activation='swish', kernel_initializer = 'he_uniform')(x) 34x = Dense(10, activation='softmax')(x) 35 36network = Model(inputs = [image_input, append_input], outputs = x) 37 38network.compile( 39 optimizer = 'adam', 40 loss = 'categorical_crossentropy', 41 metrics=['accuracy'] 42) 43 44network.summary() 45from keras.utils.vis_utils import plot_model 46plot_model(network, to_file = "CNN.png", rankdir = "LR", show_shapes = True, show_layer_names = True, show_layer_activations = True) 47 48# 擬似データを用意 49# 擬似画像 32枚解像度256x128のグレースケール画像 50train_img = np.random.randn(32, 256, 128, 1) 51# train_feautre = np.array([ [x0, y0], [x1, y1], [x2, y2], ..., [xn, yn] ]) となるように与える 52train_feature = np.random.randn(32, 2) 53# モデルに出力してほしい値.One-Hot Encoding済であること. 54train_y = np.abs(np.random.randn(32, 10)) 55 56batch_size = 32 57epochs = 10 58 59network.fit( 60 x = { # keyはレイヤの名前と一致させる 61 "image_input": train_img, 62 "feature_input": train_feature 63 }, 64 y = train_y, 65 batch_size = batch_size, 66 epochs = epochs 67)

基本,分類問題を解かせる場合はTrainable paramsやユニット数を出力側に行くにつれ減少させるのが常套手段です.カーネルの枚数を徐々に減少させるようにしておきました.また,活性化関数もELUを上回ったSwishを推奨しておきます.さらに,カーネルの初期値はglorot_uniformなので,ELUやSwishのようなReLUファミリ用のhe_uniformを推奨します.

Python:network.summary()

1Model: "model" 2__________________________________________________________________________________________________ 3 Layer (type) Output Shape Param # Connected to 4================================================================================================== 5 image_input (InputLayer) [(None, 256, 128, 1 0 [] 6 )] 7 8 conv2d (Conv2D) (None, 256, 128, 32 320 ['image_input[0][0]'] 9 ) 10 11 max_pooling2d (MaxPooling2D) (None, 128, 64, 32) 0 ['conv2d[0][0]'] 12 13 conv2d_1 (Conv2D) (None, 128, 64, 23) 6647 ['max_pooling2d[0][0]'] 14 15 max_pooling2d_1 (MaxPooling2D) (None, 64, 32, 23) 0 ['conv2d_1[0][0]'] 16 17 conv2d_2 (Conv2D) (None, 64, 32, 16) 3328 ['max_pooling2d_1[0][0]'] 18 19 max_pooling2d_2 (MaxPooling2D) (None, 32, 16, 16) 0 ['conv2d_2[0][0]'] 20 21 conv2d_3 (Conv2D) (None, 32, 16, 11) 1595 ['max_pooling2d_2[0][0]'] 22 23 max_pooling2d_3 (MaxPooling2D) (None, 16, 8, 11) 0 ['conv2d_3[0][0]'] 24 25 conv2d_4 (Conv2D) (None, 16, 8, 8) 800 ['max_pooling2d_3[0][0]'] 26 27 max_pooling2d_4 (MaxPooling2D) (None, 8, 4, 8) 0 ['conv2d_4[0][0]'] 28 29 flatten (Flatten) (None, 256) 0 ['max_pooling2d_4[0][0]'] 30 31 feature_input (InputLayer) [(None, 2)] 0 [] 32 33 concatenate (Concatenate) (None, 258) 0 ['flatten[0][0]', 34 'feature_input[0][0]'] 35 36 dropout (Dropout) (None, 258) 0 ['concatenate[0][0]'] 37 38 dense (Dense) (None, 128) 33152 ['dropout[0][0]'] 39 40 dense_1 (Dense) (None, 10) 1290 ['dense[0][0]'] 41 42================================================================================================== 43Total params: 47,132 44Trainable params: 47,132 45Non-trainable params: 0 46__________________________________________________________________________________________________

イメージ説明

個人的には,CNNだけを分類予測学習した後,CNNを学習しないようにして特徴量マップ出力と追加情報を合併して予測/分類する方が良いと思います.

投稿2022/11/09 14:12

編集2022/11/12 17:43
PondVillege

総合スコア1066

良いと思った回答にはグッドを送りましょう。
グッドが多くついた回答ほどページの上位に表示されるので、他の人が素晴らしい回答を見つけやすくなります。

下記のような回答は推奨されていません。

  • 間違っている回答
  • 質問の回答になっていない投稿
  • スパムや攻撃的な表現を用いた投稿

このような回答には修正を依頼しましょう。

回答へのコメント

Luiahu

2022/11/12 13:27

非常にわかりやすい説明ありがとうございます。 一つ質問なのですが、追加の特徴量を9行目の(append_input = ...)コードで与えてあげればよいことはわかるのですが、どのように特徴量の情報を与えればよいのでしょうか? 入力する予定の追加の特徴量は、画像(1000枚)の数字の重心の座標(xとyそれぞれ)を与えてあげたいのですがどのようにすればよいのでしょうか。
PondVillege

2022/11/12 14:31

特徴量の値は53行目の "feature_input": train_feature に与えてください.train_feature.shapeが(データ数, 2)であれば動くはずです.(データ数, 2, 1)でも動くと思います.前者は train_feature = np.array([ [x0, y0], [x1, y1], [x2, y2], ..., [xn, yn] ]) みたいな感じですね.これを受け取れるよう,9行目は append_input = Input(shape = (2), name = "feature_input") にする必要があります. ただ教師データ1000枚であるのなら,Data Augmentationの必要があると考えます.その際に画像をOnline Augmentationするとx,yの値も画像に合わせて都度変換しないといけないですね,気をつけてください.
Luiahu

2022/11/13 02:38

無事、学習をすることができましたありがとうございます。 しかし、学習したモデルでテスト画像10枚の予測を(network.predict(x_test))とすると、「モデルは2つの入力を想定しているが1つの入力テンソルを受け取りました」とエラーが出てしまうのですが、この場合テスト画像のデータ以外にもう一つ何か入力を与えてあげる必要があるのでしょうか?
PondVillege

2022/11/13 02:54 編集

x_testは画像だけなのでしょうか?であればそのようなエラーになるかもですね 重心座標も与えなければならない2入力モデルなので画像がx_test_image,重心情報がx_test_featureみたいな変数だとすると network.predict([x_test_image, x_test_feature])みたいな構成になるようにする必要があります.
Luiahu

2022/11/13 06:02

無事、識別までできました。 最後まで本当にありがとうございました。

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
86.02%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問

同じタグがついた質問を見る

CNN (Convolutional Neural Network)

CNN (Convolutional Neural Network)は、全結合層のみではなく畳み込み層とプーリング層で構成されるニューラルネットワークです。画像認識において優れた性能を持ち、畳み込みニューラルネットワークとも呼ばれています。

機械学習

機械学習は、データからパターンを自動的に発見し、そこから知能的な判断を下すためのコンピューターアルゴリズムを指します。人工知能における課題のひとつです。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。