cleverhansを使用して敵対的サンプルを生成したい

Question

前提・実現したいこと

Anaconda3を使用し、Python3.7.3でkerasとtensorflowを用いてVGG16をファインチューニングして、作成したモデルに対して、cleverhansを使いAdversarial examplesの画像を作成したい

発生している問題・エラーメッセージ

Exception                                 Traceback (most recent call last)
<ipython-input-15-279e7a133606> in <module>
      7 fgsm_params = {'eps': 0.25, 'clip_min': 0.0, 'clip_max': 1.0}
      8 # adversarial examples
----> 9 x_adv = fgsm.generate(x, **fgsm_params)

C:\open\GitHub\cleverhans\cleverhans\attacks\fast_gradient_method.py in generate(self, x, **kwargs)
     48     assert self.parse_params(**kwargs)
     49 
---> 50     labels, _nb_classes = self.get_or_guess_labels(x, kwargs)
     51 
     52     return fgm(

C:\open\GitHub\cleverhans\cleverhans\attacks\attack.py in get_or_guess_labels(self, x, kwargs)
    276       labels = kwargs['y_target']
    277     else:
--> 278       preds = self.model.get_probs(x)
    279       preds_max = reduce_max(preds, 1, keepdims=True)
    280       original_predictions = tf.to_float(tf.equal(preds, preds_max))

C:\open\GitHub\cleverhans\cleverhans\utils_keras.py in get_probs(self, x)
    183     :return: A symbolic representation of the probs
    184     """
--> 185     name = self._get_softmax_name()
    186 
    187     return self.get_layer(x, name)

C:\open\GitHub\cleverhans\cleverhans\utils_keras.py in _get_softmax_name(self)
    124       if 'activation' in cfg and cfg['activation'] == 'softmax':
    125         return layer.name
--> 126     raise Exception("No softmax layers found")
    127 
    128   def _get_abstract_layer_name(self):

Exception: No softmax layers found

該当のソースコード

import cv2
import datetime

fileName = r"C:\Users\imcla\Anaconda\open\src8\images\photo\image1.jpg"

print(fileName)

capture = cv2.VideoCapture(0)

while(True):
    ret, image = capture.read()
    cv2.imshow(fileName,image)
    if cv2.waitKey(1) & 0xFF == ord('p'):
        cv2.imwrite(fileName, image)
        break
    
capture.release()
cv2.destroyAllWindows()

# -*- coding:utf-8 -*-

from PIL import Image
import os

imgNames = os.listdir("images/photo/")#画像が保存されてるディレクトリへのpath

def readImg(imgName):
    try: #tryを使ってエラーでプログラムが止まっちゃうのを回避します。
        img_src = Image.open("images/photo/"+ imgName)#pathは上で設定したのと同じ場所です。
        print("read img!")#動いていることを確認するために書きましたがなくても全然OKです
    except: #ゴミを読み込んだらこれちゃうで！って言います。
        print("{} is not image file!".format(imgName))
        img_src = 1
    return img_src

for imgName in imgNames:
    img_src = readImg(imgName)
    if img_src == 1:continue
    else:
        resizedImg = img_src.resize((160,160)) #
        resizedImg.save("images/photo/"+"160_160_"+imgName)#名前は長くなっちゃうけど仕方ない。
        print(imgName+" is done!")

#ライブラリの読み込み
from keras.applications.vgg16 import VGG16
from keras.preprocessing.image import ImageDataGenerator
from keras.models import Sequential, Model
from keras.layers import Input, Activation, Dropout, Flatten, Dense
from keras.preprocessing.image import ImageDataGenerator
from keras import optimizers

# 分類するクラス
root_dir = 'images/train/'

classes = sorted(os.listdir(path=root_dir))
nb_classes = len(classes)
print("クラスリスト", classes)
img_width, img_height = 160, 160
# VGG16のロード。FC層は不要なので include_top=False
input_tensor = Input(shape=(img_width, img_height, 3))
vgg16 = VGG16(include_top=False, weights='imagenet', input_tensor=input_tensor)

# FC層の作成
top_model = Sequential()
top_model.add(Flatten(input_shape=vgg16.output_shape[1:]))
top_model.add(Dense(256, activation='relu'))
top_model.add(Dropout(0.5))
top_model.add(Dense(nb_classes, activation='softmax'))

# VGG16とFC層を結合してモデルを作成
vgg_model = Model(input=vgg16.input, output=top_model(vgg16.output))
from keras.models import load_model
vgg_model.load_weights('./results/Final.h5')
# テスト用のコード
from keras.preprocessing import image
import numpy as np
import matplotlib.pyplot as plt

# 画像を読み込んで予測する
def img_predict(filename):
    # 画像を読み込んで4次元テンソルへ変換
    img = image.load_img(filename, target_size=(img_height, img_width))
    x = image.img_to_array(img)
    x = np.expand_dims(x, axis=0)
    # 学習時にImageDataGeneratorのrescaleで正規化したので同じ処理が必要
    # これを忘れると結果がおかしくなるので注意
    x = x / 255.0   
    #表示
    plt.imshow(img)
    plt.show()
    # 指数表記を禁止にする
    np.set_printoptions(suppress=True)

    #画像の人物を予測    
    pred = vgg_model.predict(x)[0]
    #結果を表示する
    print(classes)
    print(pred*100)
    return pred

import glob
#テスト用の画像が入っているディレクトリのpathを()に入れてください
test = glob.glob('images/photo/*')
#数字は各自入力
image_probs=img_predict(test[0])

from keras.backend import tensorflow_backend
from cleverhans.utils_keras import KerasModelWrapper
import tensorflow as tf
model_cleverhans = KerasModelWrapper(vgg_model)

# GPU configulations
config = tf.ConfigProto(gpu_options=tf.GPUOptions(allow_growth=True))
session = tf.Session(config=config)
tensorflow_backend.set_session(session)

n_classes = 10
n_channels = 3
img_width = 160
img_height = 160

from cleverhans.attacks import FastGradientMethod
# placeholders
x = tf.placeholder(tf.float32, shape=(None, img_width, img_height, n_channels))
y = tf.placeholder(tf.float32, shape=(None, n_classes))
# method
fgsm = FastGradientMethod(model_cleverhans, sess=session)
fgsm_params = {'eps': 0.25, 'clip_min': 0.0, 'clip_max': 1.0}
# adversarial examples
x_adv = fgsm.generate(x, **fgsm_params)

試したこと

Exception: No softmax layers foundというエラーが出てるので、softmaxレイヤーをtensorboardで探してみました。

これを見てみるとsoftmaxがあるのではと思ったのですが何度試してもダメでした。
ほかにもこちらのサイトを参考にcleverhansを使わないadversarial examplesも試してみたのですが、こちらでもできませんでした。

補足情報（FW/ツールのバージョンなど）

使用している環境は
winsows10 Home 1903
Anaconda Navvigator1.9.7
Keras 2.2.4
tensorflow-gpu 1.13.1
です。
どうしたらエラーが解決するのかもわからずここに質問させていただきました。
cleverhansの使い方があまりわかっていないです…
よろしければどうすればエラーが解消できそうか教えていただけないでしょうか。
雑な質問で申し訳ありませんがよろしくお願いします。

Comments

[kane_study]

すみません。力にはなれませんが、私も似た様な事を目指してます。
何か分かれば書き込みます。