深層学習の研究で、前処理でなくモデルの構造を工夫することで「ゴミを入れたら、ゴミが出る」に対処するような論文はありますか?

Question

機械学習ではよく、悪いデータを入れたら悪い結果が得られるというようなことが言われますが、これにモデルの構造を工夫することで対処するような研究はあるのでしょうか。調べた限り見つけることができませんでした。

入力するデータに対して前処理を試行錯誤して工夫することで精度を向上させるのではなく、モデルがそれすら行ってくれるようなことを目的にしている研究を見たことがありますか?

データを改変するのではなく、モデルの構造で対処するといった考えです。

Comments

[maisumakun]

どうしてそのようなことが可能だとお考えなのでしょうか。

（なにかここに書かれていない前提条件があるなら、その旨の追記をお願い致します）

[y_waiwai]

ゴミを入れたときに、あなたはなにを出したいんでしょうか。
で、デタラメを入れたときには、あなたはなにを出したいんでしょうか

[meg_]

> 悪いデータを入れたら悪い結果が得られる
ディープラーニングのどの段階のことを言っているのでしょうか？また「悪い」とはそれぞれどういう意味でしょうか？

Answer 1

深層学習は便利な道具ですが、人間以上に「常識」も「偏見」もない道具です。
常識も偏見もなさすぎるが故に、偏った入力を与えらえると偏った出力を学習します。

---

一方で、ゴミの質もいろいろありそうです。Data augmentationであるような「微妙な違い」から、MNISTにあるような「どう考えても見間違えではなくラベルの付与ミス」まであると思います。

微妙なゴミ
微妙な違いを乗り越える方法はモデルによるData augmentationと言えるかもしれません。具体的には2015年にGoogleが特許を出したDrop outはまさに確率論的にネットワークをぶった切っています、よね？

ラベルミスのゴミ
「どう考えても見間違えではなくラベルの付与ミス」これについては具体例がすぐに出てきませんが、embeddingの分布をt-sneかPCAかで見比べれば違うラベルのデータがポーンと入り混じっているようなのがあればモデルを使ってゴミを排除できそうです。こういう論文はありそうな気がしますが私は見たことがありません。

ゴミしかない
あとは、「ゴミしかないところから価値あるもの」はだせないですよね、たぶん。正解に近づけるために偏りを生じさせる"何か"がないだろうという想定です。

---

元気がないので読んでませんがそれっぽそうな論文はありました。もしよかったら要約を聞かせてください。