「End-to-end training」 とは？

Question

DNN分野では「End-to-end training」という言葉がよく出てきますが、
公式的な解釈はなく、個別な解釈を読んでも、分かるような分からないような気分です。

原因は恐らく反対の概念**「End-to-endではないtraining」**は何ですか
というのは分かっていないためかなと思います。

どなたかご解釈いただけませんか。

Answer 1

Youtube - What is end-to-end deep learning? (C3W2L09)
Qiita - Coursera DeepLearning Course3 Structuring Machine Learning Projects Week2 学習メモ

End-to-End学習とは端つまり入力と出力だけ渡して、途中で発生する処理全てを学習してしまうというもの。

OCRを例に挙げると、入力の画像から途中の処理を細かいタスクに分け最終的に文字認識に到るという構造が
一般的、しかしEnd-to-End学習では中間の処理も全て学習させる。
注意点としてデータセットがたくさん必要になる点、逆に言うとデータセットが少ないなら今までの手法を使えばよい。

上記画像を例にすると画像からいろいろなタスクを踏んで文字認識をするのが一般的な手法ですがEndtoEndの場合画像から文字認識まで一気に学習させる手法のことを指します。もちろん画像とそれに対するラベル(何の文字であるか)という情報が必要になります。

Comments

[leilei]

wakame様
丁寧なご説明本当にありがとうございます。
皆さんの御かげで良くわかりました。

Answer 2

解決済みですので参考情報を記載します。
end-to-endは論理学でいう「AならばB」、「BならばC」、「ゆえにAならばC」に着想を得た最後の結論を取り上げて学習させる方法と言えます。このアプローチの良いところは予測精度の向上が期待できることです。周知の通り、予測は誤差を含みます。AからBを予測し、BからCを予測する場合、誤差が混入する機会が増すだけ最終的なCの誤差が大きくなります。一方、AからCを予測する場合は誤差が混入する機会が少ないため、誤差が小さくなることが期待できます。

ただし、end-to-endにも欠点があります。統計的にいうと、「AならばB」、「BならばC」、「ゆえにAならばC」は常に成り立つものではないということです。これは記述統計でいう見せかけの相関と呼ばれるもので、本当は無関係のものが、他の相関によって相関があるように見えてしまう事象です。この状況下で構築したモデルは統計的に有意になりにくいことが知られているため、偏相関を取るなどのチェックをした上でモデル化することが推奨されています。

Comments

[hayataka2049]

＞このアプローチの良いところ
論理学でいう「AならばB」、「BならばC」、「ゆえにAならばC」が自明ではない場合でも効く、という点も重要なのかな、と思いました
どんな画像が猫でどんな画像が犬なのか、論理的に説明するのはほぼ無理ですが、そういうのを突っ込んでも学習できる（むしろ人間が無理矢理論理的に考えたモデルより有効に働く）のが最大のメリットかな、と

[oookabe]

非常に良いコメントですね。
とにかく「強引にも」AとCとを直結させる。。。DNN(+ error Backpropagation)の強力な数値辻褄合わせ機能を利用して。。。
ただし、本当に成立するかどうかは学習精度・訓練精度からは分かりません。
DNN(end to end )の有用性(訓練結果の正当性)を判定する基準は, やはり
「汎化」結果が本当に現実世界の事実や、人間の感覚・意志と一致するかどうかでしょう。
さもなければ、いくら学習精度・訓練精度が高くても、一種の過学習に過ぎません。

なので、DNNの学習の正当性を事前吟味と後の検証が皆必要ですし、
DNNだからと言って、必ずしも信用できるモデルでもないですね。。。。
(多くのDNNモデルは意味なく＝仮説信用性ないだと独断的に推測します。
訓練データの品質問題の話ではなく、仮説が成立しないのに、訓練精度が高い事に警戒すべき　)　

★つまり　DNNのメリットでもデメリットでもありますが、
どんなデタラメな仮説でも、その強引な数値辻褄合わせ機能(任意射影機能)によって
十分な訓練精度を達成するのは可能です！

[leilei]

皆さん　追加コメント本当にありがとうございます！
R.Shigemori様が仰る事は非常に重要で良く理解できます。
ただ、そのAから直にCにする仮説の正当性の検証は非常に重要ですね。
それから、oookabe様が指摘された現象：
仮説がそもそも成り立たないのに、「訓練精度が高い」という現象はあり得るかどうか？
もしあればこのような現象こそ要注意ですね。

Answer 3

https://www.quora.com/What-does-end-to-end-mean-in-deep-learning-methods

https://qiita.com/tmshn/items/3ccc5d84daa23a98d4be

End-to-end 学習（前処理かけたり複数のモデルを組み合わせたりすることなく、入力と出力の関係を直接単一のモデルで学習すること）

https://www.google.co.jp/amp/s/gigazine.net/amp/20170808-what-is-deep-learning

ラベルはタスクで求められる出力に一致するもので、物の特徴を教えるのに必要となります。ディープラーニングのアルゴリズムは、画像のイメージから特徴を読み取って、どのカテゴリに分類すれば良いかを学びます。このように、画像などのデータから直接学習できる特長からディープラーニングを「エンドツーエンドの学習」と呼んでいるわけです。

Comments

[leilei]

mkgrei様
ありがとうございます。
＞画像などのデータから直接学習できる特長からディープラーニングを「エンドツーエンドの学習」と呼んでいるわけです。

人間は両サイド(end)をのみ関与すれば済ませるという事ですね。
良くわかりました！

Answer 4

たとえば音声認識なら、音から音素を抽出→音素列をかな等にする→必要なら漢字等に変換する・・・というアルゴリズムが考えられます。
機械翻訳なら、入力を形態素解析・構文解析し、中間表現に変換して、そこからまた対象言語に逆変換していく・・・というやり方があります（ありました）。
画像認識なら、画像に色々なフィルタをかけたりして特徴量を抽出し、その特徴量をSVMみたいな分類器にかける・・・というのがあったと思います。
end to endだと、
音声認識なら生の音声ファイルと書き起こしのテキストだけ与えて、ニューラルネットを学習させます。
機械翻訳も、対訳コーパスだけ与えて学習させます。
画像認識も畳み込みニューラルネットにいきなり画像と正解ラベルを入れます。

Comments

[leilei]

hayataka2049様
具体例でのご説明は良かったと思います。
やはり私には具体例のほうは分かりやすいですね。
皆さんの御かげで良く分かりました！