指数関数expについて なぜ使われるのか。

Question

タイトルの通り、eを底とした指数関数についての質問です。(ここではexp関数と呼ばせていただきます。)

現在自然言語処理の勉強をしており、word2vecに関するサイトを見ております。

その際、

のように、exp関数が出てきました。

今回はたまたま自然言語の分野ですが、これのみに限らず、他のいろんな分野でも当たり前のように
exp関数が用いられているのを見てきました。

なぜexp関数を使うのでしょうか？

Answer 1

「なぜ指数関数を使うのか」に対して一般的な答えはありません。「なぜ足し算を使うのか」と同じです。使われている場面によってそれぞれ固有の状況があります。

そちらで述べられているソフトマックスについては、検索すると解説が幾つか出てきますから貼っておきます。

SoftMax（ソフトマックス）関数とは？文系の人にもわかりやすく - Qiita
softmax関数を直感的に理解したい - Qiita
Softmaxって何をしてるの？ - 画像処理とか機械学習とか
ソフトマックス関数 | 高校数学の美しい物語

Comments

[hi-se]

なぜ底をeにするのか、ということが一番の疑問です、、、

わかりにくくてすみません。

[hayataka2049]

tiitoiさんが良い感じに補足されているので、そちらで。
ニューラルネットなので活性化関数の偏微分は逆伝播で勾配を計算するとき使うんです（定数倍だから大騒ぎするほど難解でもありませんが、あえて汚いものを使う理由もなく）。

Answer 2

exp(x) は e^x の別表記です。
冪指数 (e^x の x の部分) が長い場合、式として書いたときにわかりづらくなってしまうため、代わりに exp(x) と表記する場合があります。

---

質問をよく読んでませんでした。指数関数がなぜいろんな式に出てくるのかという質問でしたね。
よく目にする理由は、指数関数は有用な性質をいくつか持っているので、なにか式を定義する際に使われるのと、円周率のように式を計算した結果としてネイピア数が出てくるからでしょう。

Comments

[hi-se]

冒頭にあるように、eを底とする関数であることは理解していて、表記についても理解しています。
ただ変数xについての言及はここでは関係ないので適当に名前をつけてしまいました、、、

とりあえずeを使った、といったような感覚があるのですが数学的に有用なのでしょうか、、、
他の2や３などの底ではダメなのでしょうか

[tiitoi]

微分を考えると、2^x は微分したときに 2^x log 2 になりますが、e^x は微分しても e^x です。
微分を考える必要性というのは様々な状況で出てくるので、底を e としておけば、その際に式がきれいになり、有用といえるのではないでしょうか。

Answer 3

そもそも指数関数は掛け算を足し算に変換できるためです。
自然言語を始めとした機械学習では同時確率など掛け算が多く使われます。これらのコストは非常に高く場合がおおいため、なるべく少ない低コストな計算で完了させることが可能な観点で指数が多く使われます。