質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

ただいまの
回答率

90.43%

  • Python

    9774questions

    Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

  • 機械学習

    799questions

    機械学習は、データからパターンを自動的に発見し、そこから知能的な判断を下すためのコンピューターアルゴリズムを指します。人工知能における課題のひとつです。

  • TensorFlow

    798questions

  • Chainer

    177questions

    Chainerは、国産の深層学習フレームワークです。あらゆるニューラルネットワークをPythonで柔軟に書くことができ、学習させることが可能。GPUをサポートしており、複数のGPUを用いた学習も直感的に記述できます。

ディープラーニングの精度改善について

受付中

回答 1

投稿

  • 評価
  • クリップ 0
  • VIEW 106

teefpc

score 21

ディープラーニングの学習で、大きい学習係数での学習や、誤った教師データによる学習により、一端悪い精度に陥ってしまった場合、学習係数を小さくしたり、正しい教師データを与えることで、精度を改善することはできますか?

また、場合によっては、一度、悪い学習結果に落ち着いていしまったら、改善することが難しいこともあるでしょうか。

やってみたことは、
Mnistデータを使って大きなパラメータで学習し続けたり、極端に画像を変形させて学習させたりして、精度が低くなったモデルつくってみたことです。
普通に学習しなおそうとしましたが、学習がすすみませんでした。

しかし、Googleの翻訳を見ていると、間違った翻訳に対して、正しい翻訳を入力して送信できるようになっています。機械学習で修正するのだと思います。

同様の経験をされた方や、少しでもいいので何か参考になる意見がある方、教えてください。

  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

回答 1

+1

学習率の改善について

一度悪い学習率に落ち着いてしまったら改善することは難しいと思います。

Deep Learningでは予想と正解の差を縮めるように学習をしていきます。
なので、学習開始時のパラメータが正解の分布と遠ければ遠いほど学習が困難になっていきます。

誤った教師データの方はもしかすると逆に学習を容易にする可能性がありますが、
大きなパラメータで学習して学習率が上がらない場合値が、発散していると思われるので
悪い学習率に落ち着いてしまったらパラメータの分布が初期値よりも離れているという点で
改善することは難しいと思います。

googleの翻訳機について

googleの翻訳機が実際にどのような構造になっているのかが分からないので何とも言えないですが

文章の翻訳について、Word Embeddingを使っているのであれば
誤った教師データが入力された際のモデルへの被害は少ないように思います。
自分の理解では、Word Embeddingは単語ごとに数千とか数万の特徴量を決めて
その特徴量に従って学習を行います。

なので、入力された単語と特徴量が似通った単語は学習されますが
異なった特徴量の単語は学習されません。
これにより教師データが誤っていても
モデル全体が誤ったデータに引っ張られるわけではないため
うまく分離された構造になっているのではないかと思います。

他にも勾配に制限を掛けたり、いいモデルを固定化して部分的に使ったり色々していると思いますが
google翻訳の場合、入力の質を一定以上に保っていると思われるため
新たな単語を覚えるという方向での学習はすると思いますが
基本的に良い方向への学習になるのではないかと思います

自分もDeepLearningのことを勉強し始めなので間違っていることがあると思いますが
自分が考えられることはこんな感じですm(_ _)m

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2018/12/31 13:51

    貴重な回答ありがとうございます

    キャンセル

15分調べてもわからないことは、teratailで質問しよう!

  • ただいまの回答率 90.43%
  • 質問をまとめることで、思考を整理して素早く解決
  • テンプレート機能で、簡単に質問をまとめられる

同じタグがついた質問を見る

  • Python

    9774questions

    Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

  • 機械学習

    799questions

    機械学習は、データからパターンを自動的に発見し、そこから知能的な判断を下すためのコンピューターアルゴリズムを指します。人工知能における課題のひとつです。

  • TensorFlow

    798questions

  • Chainer

    177questions

    Chainerは、国産の深層学習フレームワークです。あらゆるニューラルネットワークをPythonで柔軟に書くことができ、学習させることが可能。GPUをサポートしており、複数のGPUを用いた学習も直感的に記述できます。