質問したいこと
素人質問失礼いたします。
現在google colaboratory上であるサイトのコードを使って画像分類をしています。
練習で犬と猫の画像を学習させ、画像分類もできるようになりました。今は学習させる枚数や回数を変えて精度の向上などを試していますが、どの特徴を見ているのか可視化したいと思うようになりました。
そこで最近Grad-camという、入力画像に対して画像のどの部分が予測に最も影響を与えたかをヒートマップとして出力することで可視化できること知りました。
試したことといたしましては、色々なサイトのGrad-camに関するgithubを自分なりに変えてみたりしましたが、プログラミング初心者であるため、本当にそこを変えるべきかの判断が全くできない状況です。
人任せの質問ではありますが、プログラミングが詳しい方々のお力をお貸しいただけると幸いです。
実現したいこと
・画像の中のどの特徴を見て判断しているのかを可視化したいです。
・できたら「このコードを使えば可視化できるなど」あれば教えていただきたいです。
該当のソースコード(これで画像分類しています)
このプログラムを使って犬100枚、猫100枚を学習させ、一枚の画像(sample.jpg)見せて何と答えるかをしています。
python
1from google.colab import drive 2drive.mount('/content/drive') 3 4%cd '/content/drive/MyDrive/test' 5 6import os 7import cv2 8import numpy as np 9import glob as glob 10from sklearn.model_selection import train_test_split 11from keras.utils import np_utils 12#フォルダ名をクラス名にする 13path = "./images" 14folders = os.listdir(path) 15classes = [f for f in folders if os.path.isdir(os.path.join(path, f))] 16n_classes = len(classes) 17 18#画像とラベルの格納 19X = [] 20Y = [] 21 22for label,class_name in enumerate(classes): 23 files = glob.glob("./images/" + class_name +"/*.jpg") 24 for file in files: 25 img = cv2.imread(file) 26 img = cv2.resize(img,dsize = (224,224)) 27 X.append(img) 28 Y.append(label) 29 30X = np.array(X) 31X = X.astype('float32') 32X /= 255.0 33X[0] 34 35#ラベルの変換 36Y = np.array(Y) 37Y = np_utils.to_categorical(Y,n_classes) 38Y[:5] 39 40#学習データとテストデータに分ける 41X_train, X_test, y_train, y_test = train_test_split(X, Y,test_size = 0.2) 42print(X_train.shape) 43print(X_test.shape) 44print(y_train.shape) 45print(y_test.shape) 46 47from keras.applications.vgg16 import VGG16 48from keras.models import Sequential 49from keras.models import model_from_json 50from keras.models import Model 51from keras.layers import Input, Activation, Dense, Flatten, Dropout 52from keras.optimizers import Adam 53 54#vgg16 55input_tensor = Input(shape=(224, 224, 3)) 56base_model = VGG16(weights='imagenet', input_tensor=input_tensor,include_top=False) 57 58#後付け 59top_model = Sequential() 60top_model.add(Flatten(input_shape=base_model.output_shape[1:])) 61top_model.add(Dense(n_classes, activation='softmax')) 62 63#結合 64model = Model(inputs=base_model.input, outputs = top_model(base_model.output)) 65 66#学習させない層 67for layer in model.layers[:15]: 68 layer.trainable = False 69 70print('# layers = ', len(model. layers)) 71 72model.compile(loss='categorical_crossentropy', optimizer='adam',metrics=['accuracy']) 73model.summary() 74 75#trainデータで学習 76model.fit(X_train,y_train,epochs = 20,batch_size = 16) 77 78#テストデータで精度確認 79score = model.evaluate(X_test,y_test,batch_size = 16) 80 81import pickle 82#クラス名の保存 83pickle.dump(classes,open("classes.sav","wb")) 84#モデルの保存 85model.save("./cnn.h5") 86 87from keras.models import load_model 88import pickle 89import cv2 90 91#モデルとクラス名の読み込み 92model = load_model("./cnn.h5") 93classes = pickle.load(open("classes.sav","rb")) 94 95#sample画像の前処理 96img = cv2.imread('sample.jpg') 97img = cv2.resize(img,dsize = (224,224)) 98img = img.astype('float32') 99img /= 225.0 100img = img[None, ...] 101result = model.predict(img) 102 103np.set_printoptions(precision = 3, suppress = True) 104result*100 105 106#確率が一番大きいクラス 107pred = result.argmax() 108pred 109 110#クラス名の呼び出し 111classes[pred]
試したこと
試して一番できそうな気がしたサイトのページを貼っておきます。
(画像分類したサイトとGrad-camのサイトは何の繋がりもありません)
https://gri.jp/media/entry/2222

あなたの回答
tips
プレビュー