keras.applicationsのXceptionの中間層の値がbatch_sizeによって結果が変わる

Question

発生している問題・エラーメッセージ

初めて質問するので、至らない部分があれば教えてください。

keras.applications内のXceptionを使用して、ある画像を予測したところbatch_sizeによって値が変わりました。
batch_sizeによらずに予測結果を得るにはどうすればいいでしょうか。
何か設定が必要なのでしょうか。

すみませんが，どなたかご教授頂けると幸いです。
よろしくお願いします。

追記

tiitoiさんのおかげで出力層では同じ結果になることが分かりました。
ただ、Metric Learningで異常検知を使用としているので欲しい値はXceptionの中間層の値です。
言葉足らずで申し訳ありません。
batch_sizeによらずにXceptionの中間層の値を得るにはどうすればいいでしょうか。

該当のソースコード

import numpy as np
from keras.models import Model
from keras.applications import Xception

image_data = 画像データ
image_data = np.asarray(image_data)
image_data = image_data.astype('float32') / 255.0

for i in range(100):
    # Xceptionモデル構築
    base_model = Xception(include_top=True, weights='imagenet', input_shape=(299, 299, 3))
    model = Model(inputs=base_model.input, outputs=base_model.layers[i+2].output)
    
    p1 = model.predict(image_data, batch_size=1)
    p32 = model.predict(image_data, batch_size=32)

    judge = (p1 == p32).all()
    print(str(i) + ' : ' + str(judge))
    model.summary()
    print()

    if not judge:
        break

試したこと

上記のコードを試したところ、block1_conv2の部分で差異が生じているようでした。

補足情報（FW/ツールのバージョンなど）

環境は次のとおりです。
Ubuntu 18.04.3 LTS
Python 3.6.8
Keras 2.3.1
tensorflow-gpu 2.0.0

Answer 1

浮動小数点演算は丸め誤差が発生するため、演算結果が同じかどうかを判定する際に == による厳密に同じかどうかの比較は普通行いません。
numpy でしたら numpy.allclose でおおよそ同じかどうかの比較が行えるので、こちらで判定するのがよいと思います。

追記

import numpy as np
from PIL import Image
from tensorflow.keras.applications import Xception
from tensorflow.keras.models import Model

# Xceptionモデル構築
model = Xception(include_top=True, weights="imagenet", input_shape=(299, 299, 3))

img = Image.open("sample.jpg").resize((299, 299))
img = np.float32(img) / 255
image_data = np.array([img for i in range(50)])

base_model = Xception(include_top=True, weights="imagenet", input_shape=(299, 299, 3))
for i in range(100):
    model = Model(inputs=base_model.input, outputs=base_model.layers[i + 2].output)

    p1 = model.predict(image_data, batch_size=1)
    p2 = model.predict(image_data, batch_size=32)
    if not np.allclose(p1, p2, rtol=1e-03):
        print(p1.ravel()[:10])
        print(p2.ravel()[:10])
        break

Comments

[tokoro47]

ご回答ありがとうございます。

以下の変更を行い、再度実行しましたが同じ結果となりました。
judge = (p1 == p32).all()　⇒　judge = np.allclose(p1, p32)

[tiitoi]

追記したコードで確認しましたが、質問に記載のあるようなバッチサイズで値が変わるという現象は確認できませんでした。

[tokoro47]

コードまで書いていただきありがとうございます。
こちらでも同じ結果になることを確認しました。

質問には記載していなかったのですが、純粋なCNN分類ではなくmetric learningで異常検知を行っています。
なので、中間層の値がbatch_sizeによって変わると困るという状況です。
中間層の値がbatch_sizeによって変わらない方法をご存じではないでしょうか。

[tiitoi]

確かに中間層の値が allclose でも False になることは確認しました。実際に値を確認すると4桁目ぐらいまでは一致して、5桁目ぐらいが異なるという現象だったので、これは丸め誤差の影響だと思います。
Deep Learning はメモリ節約のために一般的な数値演算の倍精度 (float64) と異なり、単精度 (float32) で行いますので、精度は落ちます。
np.allclose(p1, p2, rtol=1e-03) として一致するとみなす許容する誤差を少しだけ増やしたところ、中間層の値もすべて True となりました。
機械学習の分野では丸め誤差程度の多少の差異が問題となることはほとんどないと思うので、今回のケースでも気にする必要はないかと思います。

[tokoro47]

ご確認いただきありがとうございます。
丸め誤差が原因だったんですね。ありがとうございます。
ただ、Metric Learningの結果が以下のようにbatch sizeによるブレが大きいです。
・batch size : 1 AUC : 0.78
・batch size : 32 AUC : 0.99
この問題はしょうがないとするしかないのでしょうか。

[tiitoi]

Metric Learning について詳しくないのですが、バッチサイズを変えるというのは推論時の話ですよね。(学習時なら SGD なので、バッチサイズを変えれば、学習結果ももちろん変わる)

中間層の値が異なる場合に下1桁目から全然違う値であったとかなら、丸め誤差ではなく、他に原因があるかもという話になりますが、今回試した結果では4桁目ぐらいまでは同じで5桁目ぐらいから異なっていたので、この桁数であれば丸め誤差がやはり原因かなと思いました。
倍精度で計算できれば、計算精度を上げられますが、使用できるかどうかは GPU に依存するので、GTX シリーズとかの GPU では単精度しかサポートされていないようです。
https://stackoverflow.com/questions/48552508/running-keras-with-double-precision-fails

[tokoro47]

倍精度で計算できる方法まで教えていただき、ありがとうございます。

＞Metric Learning について詳しくないのですが、バッチサイズを変えるというのは推論時の話ですよね。
そうです。
実際の運用では1枚ずつ予測にかけるので、batch sizeを１にしたところAUCがさがったという経緯です。

今回、検査員はわかるが素人目ではわからないような異常検知をしているので、5桁目以降の所で異常度が出ているかもしれないです。
力技ですが、1枚を画像処理で32枚にし、予測にかけるという方法でいこうと思います。

色々と教えていただきありがとうございました。