Pythonの活性化関数について
- 評価
- クリップ 0
- VIEW 293
こんにちは。Python初学者のものです。
活性化関数(softmax関数)についての質問になるのですが、以下のような配列arrを用意したとき、axisで指定したうえで、配列の要素の最大値を返すよう実装する実験をしたいと考えています。
arr = np.array([[1,2,3],[4,5,6],[7,8,9],[11,12,13],[73,72,71],[90,93,92],[100,101,102]])
プログラムは以下の通りです。
import numpy as np
def softmax(x):
if x.ndim == 2:
x = x.T
x = x - np.max(x, axis=0)
y = np.exp(x) / np.sum(np.exp(x), axis=0)
return y.T
x = x - np.max(x)
return np.exp(x) / np.sum(np.exp(x))
arr = np.array([[1,2,3],[4,5,6],[7,8,9],[11,12,13],[73,72,71],[90,93,92],[100,101,102]])
sum_arr = np.sum(arr,axis=1)
sum_arr = sum_arr.reshape(7,1)
new_arr = arr/sum_arr
new_arr = softmax(new_arr)
for i in range(40):
sum_arr = np.sum(new_arr,axis=1)
sum_arr = sum_arr.reshape(7,1)
new_arr = new_arr/sum_arr
new_arr = softmax(new_arr)
print(new_arr)
max_index = np.argmax(new_arr,axis=1)
print('max_index=',max_index)
例えば上記のようなプログラムで、softmax関数を20回程度適用するだけならば、結果としては、
max_index= [2 2 2 2 0 1 2]
となります。
しかし、例として40回ほど適用すると、値が丸め込まれすぎているのか、
max_index= [0 0 0 0 0 0 0]
と表示されてしまいます。
なぜ、活性化関数を複数回適用するかについてですが、ニューラルネットワーク(CNNなど)の各層で得られた活性値を次の層への受け渡しとできないか考えているためです。
値の大小関係を継承しながら、活性化関数を適用するにはどのような案があるでしょうか？
ご回答よろしくお願いいたします。
-
気になる質問をクリップする
クリップした質問は、後からいつでもマイページで確認できます。
またクリップした質問に回答があった際、通知やメールを受け取ることができます。
クリップを取り消します
-
良い質問の評価を上げる
以下のような質問は評価を上げましょう
- 質問内容が明確
- 自分も答えを知りたい
- 質問者以外のユーザにも役立つ
評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。
質問の評価を上げたことを取り消します
-
評価を下げられる数の上限に達しました
評価を下げることができません
- 1日5回まで評価を下げられます
- 1日に1ユーザに対して2回まで評価を下げられます
質問の評価を下げる
teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。
- プログラミングに関係のない質問
- やってほしいことだけを記載した丸投げの質問
- 問題・課題が含まれていない質問
- 意図的に内容が抹消された質問
- 過去に投稿した質問と同じ内容の質問
- 広告と受け取られるような投稿
評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。
質問の評価を下げたことを取り消します
この機能は開放されていません
評価を下げる条件を満たしてません
質問の評価を下げる機能の利用条件
この機能を利用するためには、以下の事項を行う必要があります。
- 質問回答など一定の行動
-
メールアドレスの認証
メールアドレスの認証
-
質問評価に関するヘルプページの閲覧
質問評価に関するヘルプページの閲覧
+2
実は、簡易なニューラルネットワーク(別プログラム)を実験していまして、各層で活性化関数を適用し、次の層への入力としてそれらの値を利用する方法を考えていました。
softmax を出力層以外で使うことはまずないので、連続して softmax を適用するという状況がおかしいと思います。
例として40回ほど適用すると、値が丸め込まれすぎているのか、
ループの中に print(new_arr) を入れて確認するとわかると思いますが、ソフトマックス関数を複数回適用したら、全部の値が 1 / n に収束します。
あるタイミングで全部同じ値になるので、argmax() をとると、全部0になります。(argmax() は最大値が複数ある場合は最初に見つかったインデックスを返すので)
投稿
-
回答の評価を上げる
以下のような回答は評価を上げましょう
- 正しい回答
- わかりやすい回答
- ためになる回答
評価が高い回答ほどページの上位に表示されます。
-
回答の評価を下げる
下記のような回答は推奨されていません。
- 間違っている回答
- 質問の回答になっていない投稿
- スパムや攻撃的な表現を用いた投稿
評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。
0
CNNには疎いので、なぜ活性化層（関数）を重ねるのか、その効果、意図は理解できていないのですが
とりあえずnew_arr = softmax(new_arr)のあとにnew_arr *= new_arr.shape[0]すると順位は維持できそうです。
投稿
-
回答の評価を上げる
以下のような回答は評価を上げましょう
- 正しい回答
- わかりやすい回答
- ためになる回答
評価が高い回答ほどページの上位に表示されます。
-
回答の評価を下げる
下記のような回答は推奨されていません。
- 間違っている回答
- 質問の回答になっていない投稿
- スパムや攻撃的な表現を用いた投稿
評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。
15分調べてもわからないことは、teratailで質問しよう！
- ただいまの回答率 88.36%
- 質問をまとめることで、思考を整理して素早く解決
- テンプレート機能で、簡単に質問をまとめられる
質問への追記・修正、ベストアンサー選択の依頼
can110
2020/07/19 21:00
インデントがなくなりコードが読めないのでコードブロックで囲んでください。手順は以下。
https://teratail.storage.googleapis.com/uploads/contributed_images/56957fe805d9d7befa7dba6a98676d2b.gif
can110
2020/07/19 21:13
そもそも論なのですが、softmax関数で得られた結果をさらにsoftmax関数の入力とする演算の意図が分かりません。その意図、問題の背景を記載すると的確な回答が得られやすいかと思います。
Ryoya_Akechi
2020/07/19 21:51
大変申し訳ありません。
実は、簡易なニューラルネットワーク(別プログラム)を実験していまして、各層で活性化関数を適用し、次の層への入力としてそれらの値を利用する方法を考えていました。
その際、本質問のような問題が発生したので、とりあえずミニマムなデータを用意し、解決法もしくは代替案をお持ちの方がいらっしゃらないか考えた次第です。
分かりにくくて申し訳ありません。