多分類問題において活性化関数tanhが有効な理由は何か？

Question

よく、多分類問題においてtanhが用いられていますが、どのような理由で優れているのでしょうか？

データを−1〜1に揃えた方が統計分析では扱いやすいということでしょうか？

参考

Comments

[tiitoi]

多クラス分類では通常、出力層の活性化関数は softmax 関数が使われると思いますが、tanh が用いられてるとはどこの情報を見て言っているのでしょうか？

[hayataka2049]

この書き方だと出力層か中間層なのかわからないです。

[_Victorique__]

正確には出力層直前の活性化関数です。参考にリンクを貼ったサイトや、覚えていないですが他のサイトでも見た記憶があります。ちょっと探してみます。

[_Victorique__]

中間層にあたる部分ですね

[_Victorique__]

https://qiita.com/ruka38/items/2f2f958c1d45728ea577
ここですね

Answer 1

sigmoid関数は初期に考案されたもので、1)出力が0.5付近のため、入力が0付近だとパラメーターの更新が大きくなる(結果、収束に時間がかかる)、2)ネットワークを複雑にすると勾配消失が起きる、という欠点が指摘されました。このうち1)の改善を目的に考案されたものがtanhです。したがって、質問にあるような多クラス分類だからtanhが有効というのは「そういうケースもあるかもしれない」という程度の正しさだと考えます。つまり、隠れ層の入力が0付近の場合、tanhがより有効と捉えるべきと思います。
なお、tanhで解決できなかった勾配消失問題はReLu(およびその発展型)で解決されており、人によってはReLu一択でいいというくらいメジャーのようです。(私は隠れ層が相当深くない限りsigmoidかtanhを使っています)

Answer 2

参考リンクを見ました。
画像自体も Height * Width * Channels 次元の特徴ベクトルと見なせますが、CNN でやっていることはこの元の画像から分類するために必要な特徴を取り出すということなので、次元削減をしていることと同じということです。

tanh を入れているのは出てくる特徴ベクトルの値を -1 ~ 1 の範囲にしたいからという理由であり、「クラス分類だから tanh がよく使われる」という結論には至らないと思います。