『ゼロから作るDeep Learning』という本を本でいるのですが、その中に、下記のような記載があります。
P96
シグモイド関数の微分は値が連続的に変化し、さらに、曲線の傾きも連続的に変化します。つまり、シグモイド関数の微分はどの場所でも0にならないのです。これはニューラルネットワークの「学習」において重要な性質になります。
文書の前半の微分の値が0にならないのはわかりますが、後半の理由がわからないです。細かいのですが、ステップ関数と形が似た関数としてシグモイド関数を設定したのはわかるのですが、「機械学習」をするのに、なぜ微分値(傾き)が0になってはいけないのでしょうか?
書籍の文章を引用するときは、ページ番号を明確に示して下さい。実際に書籍を見て確認する人のためです。
それと、引用された文章を見ると、このあとに「なぜこれが重要な性質なのか」が説明してありそうに見えます。このあとにはどのようなことが書いてありますか。
ご指摘ありがとうございます。ページ数は今後振るようにします。また理由ですが、0にならないことでニューラルネットワークが正しい学習ができると書いてありますが、逆に0になると何が起きるのかが理解できなくて。
質問は編集できますので、ページ番号を書いておいて下さいますか。それと微分の件ですが、ステップ関数だと一点で無限大になって他では0ですよね。ステップ関数とシグモイド関数をくらべて説明しているような文章はありませんか。
すみません。編集しました。微分ですが、その事実は理解していますが、例えば、シグモイド関数に似た関数があり、それがどこかで極値を取るよな形状の場合には採用できないのでしょうか?実際にはこのような関数は使わないと思うのですが、数学的な素朴な疑問です。
極値ではなく、多層ニューラルネットだと活性関数が微分可能でなければならないのです。書いてないかな。こちらでも本を見てみます (数日かかります)。
おそらく書いてなかったような。。。数値計算を専門にしていないので初歩的な質問ですみません。私も読み進めていってもし理解できたらコメントさせていただきます。
回答3件
あなたの回答
tips
プレビュー