ゼロから作るDeep Learningに出てくるsoftmax関数の違いについて

Question

疑問点

私は現在オライリージャパンの「ゼロから作るDeep Learning」を勉強しています。
その中で引っ掛かったことがありました。それは

・この本に書かれているソフトマックス関数のコード
・Githubにある本書付属のソフトマックス関数のサンプルコード
上記の二つが違ったことです。

どのような動作の違いがあるのか、はたまた同一のものなのか。
教えて頂ければ幸いです。
よろしくお願いいたします。

ソースコード

• 本に書かれているソフトマックス関数

(「ゼロから作るDeep Learning」,P69~70)

def softmax(a):
    c = np.max(a)
    exp_a = np.exp(a - c)  #  オーバーフロー対策
    sum_exp_a = np.sum(exp_a)
    y = exp_a / sum_exp_a
    return y

• Githubにあるソフトマックス関数

Githubのリンク

def softmax(x):
    if x.ndim == 2:
        x = x.T
        x = x - np.max(x, axis=0)
        y = np.exp(x) / np.sum(np.exp(x), axis=0)
        return y.T 

    x = x - np.max(x) # オーバーフロー対策
    return np.exp(x) / np.sum(np.exp(x))

Answer 1

if x.ndim == 2:のブロックを無視すれば、同じことをやっていませんか。

---

仮に代入してみると、
その一

    y = exp_a / sum_exp_a
    return y

↓

    return exp_a / sum_exp_a

その二

    exp_a = np.exp(a - c)  #  オーバーフロー対策
    sum_exp_a = np.sum(exp_a)
    return return exp_a / sum_exp_a

↓

    return np.exp(a - c) / np.sum(np.exp(a - c))

その三

def softmax(a):
    c = np.max(a)
    return np.exp(a - c) / np.sum(np.exp(a - c))

↓

def softmax(a):
    return np.exp(a - np.max(a)) / np.sum(np.exp(a - np.max(a)))

もう一方

def softmax(x):
    x = x - np.max(x) # オーバーフロー対策
    return np.exp(x) / np.sum(np.exp(x))

↓

def softmax(x):
    return np.exp(x - np.max(x)) / np.sum(np.exp(x - np.max(x)))

Comments

[arukana-1]

回答頂きありがとうございます！
また、返信が遅くなり申し訳ありません。
ご指摘の通り式変形した所同一のものだとわかりました！

残りのif x.ndim == 2:以降の部分はどのような動作をしているかもう少し調べてみます！
ありがとうございました！