学習文字の位置ずれがautoEncoding結果に対する影響？

Question

deeplearningで、例えば文字"4"をautoEncodingを実現する場合,
文字画像の背景が真っ黒で文字の画が真っ白という理想条件の下で文字の学習を行いますが、
学習用の文字"4"が画像の中にバラバラに位置する場合、"4"のautoEncoding結果は相当変になるのでしょうか。それとも、ほとんど影響しないでしょうか。

ご教授宜しく願い致します。

Comments

[quickquip]

質問に意味が無いように見えます。変にならない様にネットワークの構造を設計すれば変にならない。変になる様にネットワークの構造を設計すれば変になる。というトートロジーの様な回答しかできない内容かと思います。

[oookabe]

学習画像(training samples)の中のobjectの位置合わせは大変です。莫大な量なら、なおさらです。
何と言ってもこのようなobjectの位置ずれはobject特徴の本質的な変化ではないので、training 結果にどれくらい影響を与えるかを知りたいのです。　
それから、もしobject位置の大きなズレがtraining結果に悪い影響を齎すなら、本当にネット構造の変更で打ち消すのをできるかどうかを合わせて知りたいですね。

Answer 1

このあたりですかね。

https://pythonmachinelearning.pro/all-about-autoencoders/
の Deep Autoencoders や Convolutional Autoencoder のあたり

位置のずれに適応するテクニックはやっぱりコンボリューションだと思いますから、それを使った場合と使わない場合を比較することになるでしょう。
ですが、MNISTの手書きデータ程度だと問題が簡単すぎてコンボリューションを使わない多段の次元削減だけでも十分に再現できています。
違いがよく分かりませんね。

---

コンボリューション
http://postd.cc/how-do-convolutional-neural-networks-work/

Comments

[oookabe]

貴重な情報、アイディア有難う御座います。。。難しい問題
> MNISTの手書きデータ程度だと問題が簡単すぎてコンボリューションを使わない多段の次元削減だけでも十分に再現できています。
手書きの場合、そんなに「簡単すぎて」とは思いませんね。
異なる文字同士間に微妙な差だけ存在するものが多く、「多段の次元削減だけでも」十分分類できるとは考えられません。＝＝＝哲学的に：元の情報をフル使ってもぎりぎり認識できるものは、
大きな「情報処理」(= 情報ロス)によって軽くうまく認識できる事はありえないと思います。

Answer 2

手持ちの入門書（ゼロから作るDeepLearningの8.2.1 さらに認識精度を高めるには）によれば、むしろそのようなデータを含めて学習させることが精度向上につながるようです。

特にData Argumentaionは簡単な手法でありながら、認識精度を向上させる上で特に有効な方法です。（中略）入力画像に対して、回転や縦横方向の移動などの微小な変化を与え、画像枚数を増やすことを行います。

Comments

[oookabe]

丁寧なお返答有難うございます。
学習画像(training samples)の中のobjectの位置合わせは大変です。莫大な量なら、なおさらです。
何と言ってもこのようなobjectの比較的に「大きな位置ずれ」があっても、object特徴の本質的な変化ではないので、training 結果にどれくらい影響を与えるかを知りたいのです。　
それから、もしobject位置の大きなズレがtraining結果に悪い影響を齎すなら、本当にネット構造の変更で打ち消すのをできるかどうかを合わせて知りたいですね。
学習画像同士間のobject位置の微小ずれはtraining結果のrobust性に貢献するのは理解できますが、
「学習画像同士の間に大きなobject位置ずれが存在する場合、どうなるのでしょうか」というのは質問の本意です。

また宜しくお願い致します。

[退会済みユーザー]

私はまだ初学者ですので直接の答えは持っていませんが、最近話題になっていた記事についてリンクを張ります。これを見て、これからは学習データ自体を機械学習で集める時代だなぁと感じました。
http://taka-say.hateblo.jp/entry/2016/12/22/110901

[oookabe]

素晴らしいアイディアですね。勉強になります。
有難うございます。

[oookabe]

"学習データ自体を機械学習で集める" = 「学習データ自体を機械学習で位置決めを行う」というのはある意味「責任転嫁」のようなものですね。その「学習データ自体を機械学習を行う」ためにどうやって「位置決め」するの？　やはり最初の質問に戻りますね。
要は自分が危惧しているのは現在騒ぎ立てるdeep-CNNは認識に問題の一つ：回転、平移、scale変化、pose変化に本質的にrobustnessはないじゃないかという事ですね。