質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.35%
機械学習

機械学習は、データからパターンを自動的に発見し、そこから知能的な判断を下すためのコンピューターアルゴリズムを指します。人工知能における課題のひとつです。

正規表現

正規表現とは特定の文字列によるパターンマッチングを行う際に用いられる宣言型プログラミングです。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

Q&A

解決済

1回答

3003閲覧

「Xavierの初期値」、「Heの初期値」に関する質問

kontikuwa

総合スコア26

機械学習

機械学習は、データからパターンを自動的に発見し、そこから知能的な判断を下すためのコンピューターアルゴリズムを指します。人工知能における課題のひとつです。

正規表現

正規表現とは特定の文字列によるパターンマッチングを行う際に用いられる宣言型プログラミングです。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

0グッド

0クリップ

投稿2021/06/12 20:32

編集2021/06/12 22:28

ゼロから作るディープラーニングのp184での質問です。この書籍を持っている方、もしくはこの書籍を使って勉強をしたことがある方だとイメージしやすいと思います。それ以外の方にはわかりにくいと思うので、お願いします

質問
どうして、「Xavierの初期値」は√1/nで「Heの初期値」は√2/nでnp.random.randnで設定した重みの初期値を割ると、アクティベーション(活性化関数後の出力データ)の表現力が増すのでしょうか?

※詳しく書くと
どうして、「Xavierの初期値」は√1/nで「Heの初期値」は√2/nでnp.random.randnで設定した重みの初期値(平均0、分散1(標準偏差1)の正規分布(標準正規分布)に従う乱数)を割ると、アクティベーション(活性化関数後の出力データ)の表現力が増すのでしょうか?

ご教授お願いします。

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

y_waiwai

2021/06/12 21:11

なんのはなしでしょうか 意味不明ですよ
quickquip

2021/06/12 23:06 編集

これ、天ぷらのレシピに「温度は160度で3分」と書いた人に、「どうして160度で3分なんですか?」みたいな質問ですね。 解析論文が出てる可能性がありますが、読んでも理解できるとは思えないです。 (この質問で言えば数学、天ぷらの温度で言えば化学の知識が要るでしょうが、「どうして」を聞いた人にそれが分かるとは思えません)
kontikuwa

2021/06/12 23:12

要するに我々のような人にはブラックボックスだから、とりあえず、そのまま使えばいいということでしょうか?理解する必要がない(理解できない)ということでしょうか?
quickquip

2021/06/12 23:50 編集

「我々のような人には」の部分を除けば答えはだいたいYes。 質問の答えを研究して「なぜそうなるのか?」を明らかにした研究者がいたかどうか、論文があったとしてその結果が支持されているか、私は知らないです。 「全人類にとって」ブラックボックスなのか、「あなたやわたしのような人には」ブラックボックスなのか、そこが分かりません。(なので回答ではなくてこの欄で)
kontikuwa

2021/06/12 23:58

難しい。わかりました。ありがとうござます。 今思ったんですけど他ので例えると、x^n + y^n = z^n となる自然数の組 (x, y, z) は存在しない(フェルマーの最終定理)のは何でですかという質問に、フェルマーの最終定理を証明した論文があるのでそれを読んでくださいとしか回答できないみたいな感じってことですよね?
quickquip

2021/06/13 00:07

工学分野なので、数学(の予想→同値な命題の発見→証明されて定理)の流れとはちょっと違います。 だいたい、まず「こういう実験設定でうまくいった」という論文が出てきて、そのあとで「必ずしもその設定である必要はない。こういう設定でもこういう設定でもうまくいく。このような条件を満たしていればどうやら大丈夫」という論文が出てきて、そのあとで「なぜこのような条件が必要なのか、その論理的背景はこう。ゆえにそれは必要条件である十分条件であると言える」みたいな論文が出てきます。
quickquip

2021/06/13 00:15 編集

もういっこ可能性があることに気づきました。 Xavierの論文がその「論理的背景を論じている論文」で、それさえ読んでしまえば「まぁそりゃそうなるよね」と分かるのかも。 まずXavierの論文を読んで、主張を理解しないと **話が始まらない** ですね……。
quickquip

2021/06/13 00:16 編集

質問するならXavierの論文を読んでから、 あるいは Xavierの論文を読んだらわかるんでしょうか? という質問にするか でしょうね。
kontikuwa

2021/06/13 00:19

わかりました。ありがとうございます。わざわざ
guest

回答1

0

自己解決

解決はできませんでした。

論文を読んでその中身を理解しなくてはならないそうです。

つまり、理解しなくいいそうです。

補足
我々が、テレビの構造を知らなくても、テレビは使えるんでみたいな感じで、中身を知らなくても使えはするんでいいんじゃないの?みたいな感じだと思います。

投稿2021/06/13 00:01

編集2021/06/13 00:02
kontikuwa

総合スコア26

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.35%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問