ディープラーニングの精度改善について

Question

ディープラーニングの学習で、大きい学習係数での学習や、誤った教師データによる学習により、一端悪い精度に陥ってしまった場合、学習係数を小さくしたり、正しい教師データを与えることで、精度を改善することはできますか？

また、場合によっては、一度、悪い学習結果に落ち着いていしまったら、改善することが難しいこともあるでしょうか。

やってみたことは、
Mnistデータを使って大きなパラメータで学習し続けたり、極端に画像を変形させて学習させたりして、精度が低くなったモデルつくってみたことです。
普通に学習しなおそうとしましたが、学習がすすみませんでした。

しかし、Googleの翻訳を見ていると、間違った翻訳に対して、正しい翻訳を入力して送信できるようになっています。機械学習で修正するのだと思います。

同様の経験をされた方や、少しでもいいので何か参考になる意見がある方、教えてください。

Answer 1

学習率の改善について

一度悪い学習率に落ち着いてしまったら改善することは難しいと思います。

Deep Learningでは予想と正解の差を縮めるように学習をしていきます。
なので、学習開始時のパラメータが正解の分布と遠ければ遠いほど学習が困難になっていきます。

誤った教師データの方はもしかすると逆に学習を容易にする可能性がありますが、
大きなパラメータで学習して学習率が上がらない場合値が、発散していると思われるので
悪い学習率に落ち着いてしまったらパラメータの分布が初期値よりも離れているという点で
改善することは難しいと思います。

googleの翻訳機について

googleの翻訳機が実際にどのような構造になっているのかが分からないので何とも言えないですが

文章の翻訳について、Word Embeddingを使っているのであれば
誤った教師データが入力された際のモデルへの被害は少ないように思います。
自分の理解では、Word Embeddingは単語ごとに数千とか数万の特徴量を決めて
その特徴量に従って学習を行います。

なので、入力された単語と特徴量が似通った単語は学習されますが
異なった特徴量の単語は学習されません。
これにより教師データが誤っていても
モデル全体が誤ったデータに引っ張られるわけではないため
うまく分離された構造になっているのではないかと思います。

他にも勾配に制限を掛けたり、いいモデルを固定化して部分的に使ったり色々していると思いますが
google翻訳の場合、入力の質を一定以上に保っていると思われるため
新たな単語を覚えるという方向での学習はすると思いますが
基本的に良い方向への学習になるのではないかと思います

自分もDeepLearningのことを勉強し始めなので間違っていることがあると思いますが
自分が考えられることはこんな感じですm(_ _)m

Comments

[teefpc]

貴重な回答ありがとうございます