質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

ただいまの
回答率

90.76%

  • TensorFlow

    608questions

  • 機械学習

    601questions

    機械学習は、データからパターンを自動的に発見し、そこから知能的な判断を下すためのコンピューターアルゴリズムを指します。人工知能における課題のひとつです。

  • 深層学習

    135questions

「End-to-end training」 とは?

解決済

回答 4

投稿 編集

  • 評価
  • クリップ 1
  • VIEW 1,036

leilei

score 28

DNN分野では「End-to-end training」という言葉がよく出てきますが、
公式的な解釈はなく、個別な解釈を読んでも、分かるような分からないような気分です。

原因は恐らく反対の概念「End-to-endではないtraining」は何ですか
というのは分かっていないためかなと思います。

どなたかご解釈いただけませんか。

  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

回答 4

checkベストアンサー

+2

Youtube - What is end-to-end deep learning? (C3W2L09)
Qiita - Coursera DeepLearning Course3 Structuring Machine Learning Projects Week2 学習メモ

End-to-End学習とは端つまり入力と出力だけ渡して、途中で発生する処理全てを学習してしまうというもの。
OCRを例に挙げると、入力の画像から途中の処理を細かいタスクに分け最終的に文字認識に到るという構造が
一般的、しかしEnd-to-End学習では中間の処理も全て学習させる。
注意点としてデータセットがたくさん必要になる点、逆に言うとデータセットが少ないなら今までの手法を使えばよい。

イメージ説明

上記画像を例にすると画像からいろいろなタスクを踏んで文字認識をするのが一般的な手法ですがEndtoEndの場合画像から文字認識まで一気に学習させる手法のことを指します。もちろん画像とそれに対するラベル(何の文字であるか)という情報が必要になります。

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2018/05/01 10:56

    wakame様
    丁寧なご説明本当にありがとうございます。
    皆さんの御かげで良くわかりました。

    キャンセル

+2

たとえば音声認識なら、音から音素を抽出→音素列をかな等にする→必要なら漢字等に変換する・・・というアルゴリズムが考えられます。
機械翻訳なら、入力を形態素解析・構文解析し、中間表現に変換して、そこからまた対象言語に逆変換していく・・・というやり方があります(ありました)。
画像認識なら、画像に色々なフィルタをかけたりして特徴量を抽出し、その特徴量をSVMみたいな分類器にかける・・・というのがあったと思います。
end to endだと、
音声認識なら生の音声ファイルと書き起こしのテキストだけ与えて、ニューラルネットを学習させます。
機械翻訳も、対訳コーパスだけ与えて学習させます。
画像認識も畳み込みニューラルネットにいきなり画像と正解ラベルを入れます。

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2018/05/01 10:59

    hayataka2049様
    具体例でのご説明は良かったと思います。
    やはり私には具体例のほうは分かりやすいですね。
    皆さんの御かげで良く分かりました!

    キャンセル

+2

https://www.quora.com/What-does-end-to-end-mean-in-deep-learning-methods

https://qiita.com/tmshn/items/3ccc5d84daa23a98d4be

End-to-end 学習(前処理かけたり複数のモデルを組み合わせたりすることなく、入力と出力の関係を直接単一のモデルで学習すること)

https://www.google.co.jp/amp/s/gigazine.net/amp/20170808-what-is-deep-learning

ラベルはタスクで求められる出力に一致するもので、物の特徴を教えるのに必要となります。ディープラーニングのアルゴリズムは、画像のイメージから特徴を読み取って、どのカテゴリに分類すれば良いかを学びます。このように、画像などのデータから直接学習できる特長からディープラーニングを「エンドツーエンドの学習」と呼んでいるわけです。

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2018/05/01 11:04

    mkgrei様
    ありがとうございます。
    >画像などのデータから直接学習できる特長からディープラーニングを「エンドツーエンドの学習」と呼んでいるわけです。

    人間は両サイド(end)をのみ関与すれば済ませるという事ですね。
    良くわかりました!

    キャンセル

+2

解決済みですので参考情報を記載します。
end-to-endは論理学でいう「AならばB」、「BならばC」、「ゆえにAならばC」に着想を得た最後の結論を取り上げて学習させる方法と言えます。このアプローチの良いところは予測精度の向上が期待できることです。周知の通り、予測は誤差を含みます。AからBを予測し、BからCを予測する場合、誤差が混入する機会が増すだけ最終的なCの誤差が大きくなります。一方、AからCを予測する場合は誤差が混入する機会が少ないため、誤差が小さくなることが期待できます。

ただし、end-to-endにも欠点があります。統計的にいうと、「AならばB」、「BならばC」、「ゆえにAならばC」は常に成り立つものではないということです。これは記述統計でいう見せかけの相関と呼ばれるもので、本当は無関係のものが、他の相関によって相関があるように見えてしまう事象です。この状況下で構築したモデルは統計的に有意になりにくいことが知られているため、偏相関を取るなどのチェックをした上でモデル化することが推奨されています。

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2018/05/01 17:52

    >このアプローチの良いところ
    論理学でいう「AならばB」、「BならばC」、「ゆえにAならばC」が自明ではない場合でも効く、という点も重要なのかな、と思いました
    どんな画像が猫でどんな画像が犬なのか、論理的に説明するのはほぼ無理ですが、そういうのを突っ込んでも学習できる(むしろ人間が無理矢理論理的に考えたモデルより有効に働く)のが最大のメリットかな、と

    キャンセル

  • 2018/05/01 23:18 編集

    非常に良いコメントですね。
    とにかく「強引にも」AとCとを直結させる。。。DNN(+ error Backpropagation)の強力な数値辻褄合わせ機能を利用して。。。
    ただし、本当に成立するかどうかは学習精度・訓練精度からは分かりません。
    DNN(end to end )の有用性(訓練結果の正当性)を判定する基準は, やはり
    「汎化」結果が本当に現実世界の事実や、人間の感覚・意志と一致するかどうかでしょう。
    さもなければ、いくら学習精度・訓練精度が高くても、一種の過学習に過ぎません。

    なので、DNNの学習の正当性を事前吟味と後の検証が皆必要ですし、
    DNNだからと言って、必ずしも信用できるモデルでもないですね。。。。
    (多くのDNNモデルは意味なく=仮説信用性ないだと独断的に推測します。
    訓練データの品質問題の話ではなく、仮説が成立しないのに、訓練精度が高い事に警戒すべき ) 

    ★つまり DNNのメリットでもデメリットでもありますが、
    どんなデタラメな仮説でも、その強引な数値辻褄合わせ機能(任意射影機能)によって
    十分な訓練精度を達成するのは可能です!

    キャンセル

  • 2018/05/02 00:13 編集

    皆さん 追加コメント本当にありがとうございます!
    R.Shigemori様が仰る事は非常に重要で良く理解できます。
    ただ、そのAから直にCにする仮説の正当性の検証は非常に重要ですね。
    それから、oookabe様が指摘された現象:
    仮説がそもそも成り立たないのに、「訓練精度が高い」という現象はあり得るかどうか?
    もしあればこのような現象こそ要注意ですね。

    キャンセル

15分調べてもわからないことは、teratailで質問しよう!

  • ただいまの回答率 90.76%
  • 質問をまとめることで、思考を整理して素早く解決
  • テンプレート機能で、簡単に質問をまとめられる

関連した質問

同じタグがついた質問を見る

  • TensorFlow

    608questions

  • 機械学習

    601questions

    機械学習は、データからパターンを自動的に発見し、そこから知能的な判断を下すためのコンピューターアルゴリズムを指します。人工知能における課題のひとつです。

  • 深層学習

    135questions