grad camを用いてヒートマップの作成したがずれる．

Question

現在，CNNを用いて画像分類を行っています．
その過程でヒートマップを求めるためにgrad camを実装しました．

この時，grad camから出力されたヒートマップのサイズが64x46でした．
また，入力画像のサイズは,640x480です．

grad camのサイトを参考にしていたところ，
このヒートマップを拡大すれば入力画像と同じサイズになり，上手に重なっていました．
しかし，ネット上の多くの例では，入力画像もヒートマップも正方形であるので，拡大すると上手に重なっています．

しかし，私の場合は，64x46を入力サイズに合わせて(640x480)に拡大すると
縦横比が違うために入力サイズにヒートマップを重ねるとズレが出てしまいます．
これが64x48サイズだったらよかったのか？

何かこの問題を解決するためのアイデア等があるかた，よろしくお願いします．
追加情報が必要な方は，返信しますのでコメントをお願いします．

#準備
model = load_model('cnn_model.h5')
print(model.summary())


data = img_to_array(load_img('./input/cat10007.jpg', target_size=(480,640)))



#backend動作
layer_name = 'max_pooling3d_4'
last_conv = model.get_layer(layer_name)
data_output = model.output[:,0]




grads = K.gradients(data_output, last_conv.output)[0]
pooled_grads = K.mean(grads, axis=(0,1,2)
iterate = K.function([model.input],
                    [pooled_grads, last_conv.output[0]])


#Main

pooled_grads_val,conv_output_val = iterate([data])

for i in range(pooled_grads_val.shape[0]):
    conv_output_val[:,:,i] *= pooled_grads_val[i]

heatmap = np.mean(conv_output_val,axis=-1)
print(heatmap.shape)  #(46,64)

#ヒートマップの後処理

heatmap = np.maximum(heatmap,0)
heatmap /= np.max(heatmap)



#####################
heatmap = cv2.resize(heatmap,(640,480))
heatmap = np.uint8(255 * heatmap)

#動画にヒートマップを適用していく．
image0 = cv2.applyColorMap(heatmap,cv2.COLORMAP_JET)
plt.imshow(image0)
plt.show()

frame = '元のイメージ'  #入力画像
superimposed_img = frame + 0.6*image0
#superimposed_img = cv2.addWeighted(frame,0.7, image0, 0.3, 0)



plt.imshow(superimposed_img)
plt.imshow(image0)
plt.show()

Comments

[tiitoi]

コードを質問欄に記入できますか？

[ruto844]

遅くなりました．
コードを追記しました．

[tiitoi]

追記ありがとうございます。
質問欄のコードが一部のため、動かして確認することができないのですが、リサイズしたら、入力画像のスケールになるので、一見問題がないように見えます。
ずれるとはどのぐらいずれるのでしょうか？実行結果を貼ることはできますか？

[ruto844]

遅くなりました．
私が使用している画像は，黒の外枠ありの画像になります．
認識しているであろう形の部分が横に20~30ほどずれてしまっています．

実行結果については，申し訳有りませんが載せることができません．

Answer 1

プールは、どうしていますか。プールで小さくなったものをそのまま戻します。

追記
プールサイズ、ストライド、パディングの指定によって、テンソルが小さくなります。このとき、端数処理がされます。ですから、プーリング層1層で小さくなった分を1層ずつ元に戻していきます。そうするとずれを最小に抑えることができます。
単純にやりたいなら、プーリング層で小さくなる時に丸められないように、小さくなる分を考えながら、元の画像の大きさを決定します。

Comments

[ruto844]

回答ありがとうございます．
CNN内ではプーリングも行なっています．
プールで小さくなったものを戻す．　というのは，どういうことでしょうか？