Pythonの活性化関数について

Question

こんにちは。Python初学者のものです。
活性化関数(softmax関数)についての質問になるのですが、以下のような配列arrを用意したとき、axisで指定したうえで、配列の要素の最大値を返すよう実装する実験をしたいと考えています。

arr = np.array([[1,2,3],[4,5,6],[7,8,9],[11,12,13],[73,72,71],[90,93,92],[100,101,102]])

プログラムは以下の通りです。

import numpy as np

def softmax(x):
    if x.ndim == 2:
        x = x.T
        x = x - np.max(x, axis=0)
        y = np.exp(x) / np.sum(np.exp(x), axis=0)
        return y.T

    x = x - np.max(x)
    return np.exp(x) / np.sum(np.exp(x))

arr = np.array([[1,2,3],[4,5,6],[7,8,9],[11,12,13],[73,72,71],[90,93,92],[100,101,102]])


sum_arr = np.sum(arr,axis=1)
sum_arr = sum_arr.reshape(7,1)
new_arr = arr/sum_arr
new_arr = softmax(new_arr)

for i in range(40):
    sum_arr = np.sum(new_arr,axis=1)
    sum_arr = sum_arr.reshape(7,1)
    new_arr = new_arr/sum_arr
    new_arr = softmax(new_arr)

print(new_arr)

max_index = np.argmax(new_arr,axis=1)
print('max_index=',max_index)

例えば上記のようなプログラムで、softmax関数を20回程度適用するだけならば、結果としては、
max_index= [2 2 2 2 0 1 2]
となります。

しかし、例として40回ほど適用すると、値が丸め込まれすぎているのか、
max_index= [0 0 0 0 0 0 0]
と表示されてしまいます。

なぜ、活性化関数を複数回適用するかについてですが、ニューラルネットワーク(CNNなど)の各層で得られた活性値を次の層への受け渡しとできないか考えているためです。

値の大小関係を継承しながら、活性化関数を適用するにはどのような案があるでしょうか？
ご回答よろしくお願いいたします。

Comments

[8524ba23]

インデントがなくなりコードが読めないのでコードブロックで囲んでください。手順は以下。
https://teratail.storage.googleapis.com/uploads/contributed_images/56957fe805d9d7befa7dba6a98676d2b.gif

[8524ba23]

そもそも論なのですが、softmax関数で得られた結果をさらにsoftmax関数の入力とする演算の意図が分かりません。その意図、問題の背景を記載すると的確な回答が得られやすいかと思います。

[Ryoya_Akechi]

大変申し訳ありません。
実は、簡易なニューラルネットワーク(別プログラム)を実験していまして、各層で活性化関数を適用し、次の層への入力としてそれらの値を利用する方法を考えていました。
その際、本質問のような問題が発生したので、とりあえずミニマムなデータを用意し、解決法もしくは代替案をお持ちの方がいらっしゃらないか考えた次第です。
分かりにくくて申し訳ありません。

Answer 1

実は、簡易なニューラルネットワーク(別プログラム)を実験していまして、各層で活性化関数を適用し、次の層への入力としてそれらの値を利用する方法を考えていました。

softmax を出力層以外で使うことはまずないので、連続して softmax を適用するという状況がおかしいと思います。

例として40回ほど適用すると、値が丸め込まれすぎているのか、

ループの中に print(new_arr) を入れて確認するとわかると思いますが、ソフトマックス関数を複数回適用したら、全部の値が 1 / n に収束します。
あるタイミングで全部同じ値になるので、argmax() をとると、全部0になります。(argmax() は最大値が複数ある場合は最初に見つかったインデックスを返すので)

Answer 2

CNNには疎いので、なぜ活性化層（関数）を重ねるのか、その効果、意図は理解できていないのですが
とりあえずnew_arr = softmax(new_arr)のあとにnew_arr *= new_arr.shape[0]すると順位は維持できそうです。