深層学習はどこを見ているのか

Question

質問したいこと

素人質問失礼いたします。
現在google colaboratory上であるサイトのコードを使って画像分類をしています。
練習で犬と猫の画像を学習させ、画像分類もできるようになりました。今は学習させる枚数や回数を変えて精度の向上などを試していますが、どの特徴を見ているのか可視化したいと思うようになりました。
そこで最近Grad-camという、入力画像に対して画像のどの部分が予測に最も影響を与えたかをヒートマップとして出力することで可視化できること知りました。
試したことといたしましては、色々なサイトのGrad-camに関するgithubを自分なりに変えてみたりしましたが、プログラミング初心者であるため、本当にそこを変えるべきかの判断が全くできない状況です。
人任せの質問ではありますが、プログラミングが詳しい方々のお力をお貸しいただけると幸いです。

実現したいこと

・画像の中のどの特徴を見て判断しているのかを可視化したいです。
・できたら「このコードを使えば可視化できるなど」あれば教えていただきたいです。

該当のソースコード(これで画像分類しています)

このプログラムを使って犬100枚、猫100枚を学習させ、一枚の画像(sample.jpg)見せて何と答えるかをしています。

from google.colab import drive
drive.mount('/content/drive')

%cd '/content/drive/MyDrive/test'

import os
import cv2
import numpy as np
import glob as glob
from sklearn.model_selection import train_test_split
from keras.utils import np_utils
#フォルダ名をクラス名にする
path = "./images"
folders = os.listdir(path)
classes = [f for f in folders if os.path.isdir(os.path.join(path, f))]
n_classes = len(classes)

#画像とラベルの格納
X = []
Y = []

for label,class_name in enumerate(classes):
  files = glob.glob("./images/" + class_name +"/*.jpg")
  for file in files:
    img = cv2.imread(file)
    img = cv2.resize(img,dsize = (224,224))
    X.append(img)
    Y.append(label)

X = np.array(X)
X = X.astype('float32')
X /= 255.0
X[0]

#ラベルの変換
Y = np.array(Y)
Y = np_utils.to_categorical(Y,n_classes)
Y[:5]

#学習データとテストデータに分ける
X_train, X_test, y_train, y_test = train_test_split(X, Y,test_size = 0.2)
print(X_train.shape)
print(X_test.shape)
print(y_train.shape)
print(y_test.shape)

from keras.applications.vgg16 import VGG16
from keras.models import Sequential
from keras.models import model_from_json
from keras.models import Model
from keras.layers import Input, Activation, Dense, Flatten, Dropout
from keras.optimizers import Adam

#vgg16
input_tensor = Input(shape=(224, 224, 3))
base_model = VGG16(weights='imagenet', input_tensor=input_tensor,include_top=False)

#後付け
top_model = Sequential()
top_model.add(Flatten(input_shape=base_model.output_shape[1:]))
top_model.add(Dense(n_classes, activation='softmax'))

#結合
model = Model(inputs=base_model.input, outputs = top_model(base_model.output))

#学習させない層
for layer in model.layers[:15]:
  layer.trainable = False

print('# layers = ', len(model. layers))

model.compile(loss='categorical_crossentropy', optimizer='adam',metrics=['accuracy'])
model.summary()

#trainデータで学習
model.fit(X_train,y_train,epochs = 20,batch_size = 16)

#テストデータで精度確認
score = model.evaluate(X_test,y_test,batch_size = 16)

import pickle
#クラス名の保存
pickle.dump(classes,open("classes.sav","wb"))
#モデルの保存
model.save("./cnn.h5")

from keras.models import load_model
import pickle
import cv2

#モデルとクラス名の読み込み
model = load_model("./cnn.h5")
classes = pickle.load(open("classes.sav","rb"))

#sample画像の前処理
img = cv2.imread('sample.jpg')
img = cv2.resize(img,dsize = (224,224))
img = img.astype('float32')
img /= 225.0
img = img[None, ...]
result = model.predict(img)

np.set_printoptions(precision = 3, suppress = True)
result*100

#確率が一番大きいクラス
pred = result.argmax()
pred

#クラス名の呼び出し
classes[pred]

試したこと

試して一番できそうな気がしたサイトのページを貼っておきます。
(画像分類したサイトとGrad-camのサイトは何の繋がりもありません)
https://gri.jp/media/entry/2222

Comments

[ps_aux_grep]

一番簡単なのはSpatial Attentionを付加してその強度を確認することです．
https://cocoinit23.com/keras-channel-attention-spatial-attention/

[meg_]

> あるサイトのコードを使って画像分類をしています。
コード作成者を明示するべきではないでしょうか？

[jbpb0]

参考
https://qiita.com/mizunoyy/items/b45f767b7ed24a9a00df

[gorou-0000]

ps_aux_grep様　jbpb0様
いつもご教授頂きありがとうございます。
お二人の教えて頂いたサイト、とても為になりました。
今回、私が実現したかったことがjbpb0様のサイトに近かった為、参考にさせて頂きます。

meg様
meg様の仰る通りです。
今後は使用したコードの作成者を明示したいと思います。
失礼しました。

[meg_]

> 今後は使用したコードの作成者を明示したいと思います。
質問は編集できますので追記しましょう。コードにも著作権があります。