ニューラルネットワークでのソフトマックスの出力値の合計が１にならない

Question

発生している問題

タイトル通り、ソフトマックスの出力の合計が１を超えてしまいます。

具体的には、テストデータ(test)の予測を６つのカテゴリーに分類して行っているのですが、

pre = loaded_model.predict(test)

print(pre)とすると、、、

[[                                                                                  ],
                                   :
                                   :

[1.4403468e-14 2.7438103e-08 5.1739965e-13 3.3624038e-11 1.0000000e+00 1.7220916e-10]]

このようにテストデータの分だけ出力が帰ってきます。
しかし、最後の行の右から２番目の値はすでに「１」となっており６つの値を足すと１を超えてしまうのは明らかです…

なぜこのようなことが起きるのでしょうか。
ご存知の方は教えていただきたいです。よろしくおねがいします。

Comments

[tiitoi]

モデルの実装部分のコードがないと原因について判断できません

[aokikenichi]

titoiさんと同意見です。
1.0以外の値が非常に小さいですので丸め誤差等かも知れません。
いずれにしろどう計算しているかを見ないと分からないです。

[idon]

ご指摘いただきありがとうございます。
「どう計算しているか」
というのはプログラムのどのあたりでわかるのでしょうか？

今回だと、kerasを使用しており、softmaxを使うにあたっては
activation='softmax'
と指定しているのみです。

[tiitoi]

和が 0.99999994 のように厳密に1にならないということであれば、丸め誤差で話が付きますが、和が1より大きくことなる場合、関数の使い方などそもそもなにか勘違いしている可能性もあるので、コードが必要という話です。

[tiitoi]

と思いましたが、よく見たら他の値は極端に小さいので、これは丸め誤差のせいですね

Answer 1

ディープラーニングは7桁程度の精度を持つ float32 (単精度) 演算ということを考えると、これは1とみなしてよいです。
厳密に1にならないのは丸め誤差の影響なので、気にする必要はありません。

print(np.sum([1.4403468e-14, 2.7438103e-08, 5.1739965e-13, 3.3624038e-11, 1.0000000e+00, 1.7220916e-10]))
# 1.000000027644468

Comments

[idon]

回答ありがとうございます。

この丸め誤差は仕方ないと割り切ってもいいものなのでしょうか？
それとも回避するために対策するべきでしょうか？

[tiitoi]

ディープラーニングにおいて、float32 の丸め誤差が性能に影響することはまずないので、気にしなくてよいです。

[idon]

丁寧に回答していただきありがとうございました。