Python Deep Learning Dropoutのコード内容について

前提・実現したいこと

Deep LearningのDropoutクラスについての質問です。
Dropoutの手法は大まか理解できたのですが、コード内で具体的に何が行われているのかが分かりません。
またdropout_ratioとは何でしょうか。
初めての質問で至らないところもあるとは思いますが、宜しくお願い致します。

参考書は　"ゼロから作るDeep Learning -Pythonで学ぶディープラーニングの理論と実装"です。

発生している問題・エラーメッセージ

エラーメッセージなし

該当のソースコード

Python
1class Dropout:
2    def __init__(self,dropout_ratio=0.5):
3        self.dropout_rario = dropout_ratio
4        self.mask = None
5#ここから
6    def forward(self,x,train_flg= True):
7
8        if train_flg:
9            self.mask = np.random.rand(*x.shape) > self.dropout_ratio
10            return x * self.mask
11        else:
12            return x * (1.0 - self.dropout_ratio)
13#ここまでです。
14    def backward(self,dout):
15        return dout * self.mask
16
17

試したこと

ここに問題に対して試したことを記載してください。

補足情報（FW/ツールのバージョンなど）

ここにより詳細な情報を記載してください。
Python3.7

行動規範の内容に同意します

回答1件

ベストアンサー

ドロップアウトについて

dropout_ratioとは何でしょうか。

ドロップアウト層は訓練時に一定の割合でランダムにニューロンを脱落させる (使用しない) 役割があります。dropout_ratio はニューロンを脱落させる割合です (0 ~ 1 の間で指定)。

画像引用元

推論時はすべてのニューロンを使います。そのため、訓練時は 1 - dropout_ratio の割合のニューロンしか使っていないのに、推論時はすべてのニューロンを使ったことによって出力が大きくなってしまうので、出力値に 1 - dropout_ratio を乗算し、出力の大きさが訓練時と同程度になるように調整します。

実装上の解説

訓練時のニューロンの脱落は、前の層のニューロンの出力を0にしてしまうことで実現します。

np.random.rand(*x.shape) で前のニューロンと同じ形状で各値が [0, 1] の乱数で初期化された配列を生成する。
np.random.rand(*x.shape) > self.dropout_ratio で self.dropout_ratio より大きい要素は True、そうでない要素は False となる bool 配列を作成する。
True は1、False は0 と同値なので、x * self.mask を計算すれば、False に対応する x の要素は値が0になる。

逆伝搬も同様に、dout * self.mask で伝搬してきたデルタの値に0を乗算します。

推論時は先程述べたように 1 - dropout_ratio を乗算するだけになります。

x * (1.0 - self.dropout_ratio)

投稿2020/05/27 05:52

編集2020/05/27 05:55