Q&A
https://stats.stackexchange.com/questions/321841/what-are-variational-autoencoders-and-to-what-learning-tasks-are-they-used、https://stats.stackexchange.com/questions/265094/is-it-true-that-bayesian-methods-dont-overfit
世の中のDeep Learning宣伝によって、
自分にはDL(等価的ではないが、以下CNN/DNNと称します)に対する『過大視』のようのものがありました。
今になってようやく下記の幾つかの点について気付いたのです。
この分野に関心のある方、どんなご意見でも宜しいので、ご批判やコメントを承りたいと思います。
**"当たり前や,どうじて最初から分からなかったの？"**というようなご意見も歓迎いたしますが、
批判的なコメントがもっと好ましいでございます。
１． CNN/DNNは因果関係や規則を発見するのではないし、指定した仮説を現実的な意味で成立するかどうかを判定してくれるものでもない。
単に人間が指定した「仮説」を成立させるために、指定因果間の無理やり射影機能を持たせるに過ぎない。
(これは莫大なパラメーターを通じて、強烈な数値辻褄合わせで実現された)
２． CNN/DNNが形成後の中間数値は(eg,各「特徴map」やpooling)に表現されているデータは
対象物の人間にとって有意味の「固有特徴」として考えにくく、
単に強烈な数値辻褄合わせのための副産物に過ぎない。
∵ それは如何なる外的な要素(eg, hyperparameters)にも敏感に反応し,全然違うものに変動するのだから。
【画像認識の場合、中間処理結果の可視化によってobject パーツらしい模様が現れるのは、もともと画像だから、それに対する局所的な算術計算の結果も当然それなりに元の画像模様を反映する-----これ以上の意味を持たない!】
これに関してDNNの一部の開発者の言っている画像の「Feature Extractor」という表現に惑わされないように注意したい。(Eg, YOLO作者の論文, 等)
３． 上述のように、DLは能動的に 潜在関係や規律を発見してくれるのでなく、
まったく"受動的に"人間が明示的、または強く暗示した関係を成立させる仕組みである。
これに対して、data miningのための一部手法、例えば、Bayesian networkのようなものは**「能動的」に** なまのデータから関係や規則を発見する能力を持ち、『知能』という表現に相応しい。
4． DLは本質的に『過学習』で、原理的に『過学習』は必要とし、『過学習』の上で初めて成り立つ。
なので、大きな『汎化性能』＝創造的な推論機能を期待(信用)できない。
従って、応用面においてDLの『過学習』本質と人間が期待している『汎化性能』の間に大きなジレンマが存在するはず。
これに対して、Bayesian networkのようなものは**『過学習』が存在しない**。
5． DLはBayesian networkのようなものと結婚すれば、真の『知能』に近いものが生まれるかもしれない。
6． 技術的な視点からすれば「Error propagation」はDLのために存在するのでなく、DLは「Error propagation」のために構造した。
「Error propagation」は多量の変数を最適化 ➡ 偏微分 ➡ 微分の伝達性、可分解性を利用するための数学からの要望で、多変数を最適化するための限られた手法の代表であり、簡単に置き換えられない。
それに、propagation = feedbackは【古典制御理論】から【現代制御理論】までの基本方法で、安易に否定できない。
##背景
以前、NNに関する知識があるものの、深層学習について、全然経験なく、その中身もここの皆様に御伺いしながらようやくある程度分かるような気がします。。。。ただし、確実ではないのです。
当初思い込みのような部分があったと強く感じます。
自分はどんな技術に対しても、その性格や特徴を把握してから、利用したいもので、今の自分の認識を出して、有識者の方に評をいただきたいのです。
決して『Deep learning』の有効性を否定するのではなく、 他の処でも述べたように、むしろこれまでのobject追跡法(特徴点法)より優れると思います。
利用できるように努力したいのですね。
ただし、自分の当初の感覚や期待とは大きなずれがあるかと思います。
何が質問でしょうか？深層学習が完璧ではなくて、最近過剰にもてはやされている感があるというのはわかりましたが、…？質問の目的意識がよくわかりませんでした。知能だと思って深層学習をやっている人なんてほとんどいないと思いますし…何について知りたいのでしょうか？
mkgrei さん お返答ありがとうございます。『知能だと思って深層学習をやっている人なんてほとんどいないと思いますし』ーーーそうですか、私は全然逆でした。
NNに関する知識があるものの、深層学習について、全然経験なく、その中身もここの皆様に御伺いしながらようやくある程度分かるような気がします。。。。ただし、確実ではないのです。当時は思い込みのような部分があったと強く感じます。 自分はどんな技術に対しても、その性格や特徴を把握してから、利用したいもので、今の自分の認識を出して、mkgreiさんを含む有識者の方に評をいただきたいのです。決して『Deep learning』の有効性を否定するのではなく、
他の処でも述べたように、むしろこれまでのobject追跡法(特徴点法)より優れると思います。
利用できるように努力したいのですね。 ただし、自分の当初の感覚や期待とは大きなずれがあるかと思います。
少なくとも今の深層学習のできることは「知能」がなくてもこなせるようなタスクから人を解放することです。例えば自動翻訳の発展はめざましく、翻訳家を雇わなくても外国語を容易に読める時代になりました。適材適所といったところでして、確かに深層学習は世の中に多大な価値をもたらしました。原理的なことを議論するのであれば、「知能」が何かをまず見直すことですね。上記の質問はoookabeさんが実用的な観点に興味があるのか、それとも哲学的な側面に興味があるのか、どちらでしょうか？
自分はどちらかというと、『実用主義』ですね。ただ、目を閉じてとにかく利用や開発するのは『リスク』が大きすぎで、やはり、その方法の原理的や本質的、または特徴的な側面を探ってみたいのですね。それから何かを決めたいのです。
回答4件
0
お金になるものなので、深層学習についての情報は批判的に読んでちゃんと納得したものを信じるべきです。
実用的な側面を意識してみます。
- 汎用的なモデルは因果関係と相関関係を区別するすべはありません。
段階的に複数のモデルを必要としないことが深層学習の売りの一つであるからして、原理的に回避し難い問題です。
- 中間層についてはもとより特に人間が解釈するものではありませんでした。
https://googleblog.blogspot.jp/2012/06/using-large-scale-brain-simulations-for.html
ただ、モデルの納得感を確認する方法として利用できます。
- DataMiningで関係や法則を発見するのは人間です。
そのために統計的な手法を使っているに過ぎません。
- 「過学習」が定義されていないので、なんとも言い難いのですが、機械学習の文脈ならば、学習したデータが学習していないデータより明らかに精度良く予測できるのなら過学習していることが言えるだけです。
同じ程度の精度で予測できたとしても過学習していないとは言い切れません。
- Bayesianっぽい深層学習の方法はあります。
Bayesianが過学習しないということは自明ではありません。
https://stats.stackexchange.com/questions/321841/what-are-variational-autoencoders-and-to-what-learning-tasks-are-they-used
https://stats.stackexchange.com/questions/265094/is-it-true-that-bayesian-methods-dont-overfit
- ニュートン法が運動方程式を解くためにあるわけではないように、誤差伝播法は深層学習のためにあるわけではありません。
運動方程式も別にニュートン法で解けるように作られているわけではありません。
おっしゃるように深層学習には曖昧で予測不可能な側面があります。
ですので、自動運転などでは確定的な手法と組み合わせて使用されることだろうと思います。
クレジットカードの不正使用検知も自動翻訳も、失敗しても重症とはならなかったり、そもそも他にやる方法がないような利用法です。
うまく深層学習が得意な領域を見つけて、他の方法と組み合わせながら使いこなしてやってください。
投稿2018/05/03 09:18
総合スコア8560
貴重なアドバス本当にありがとうございます！
「お金になるもの」という部分について気が付いたことがあるのでコメントします。閲覧注意です。
私が学生時にテーマとしていたものも機械学習の一種（DLの前時代のNNとか）でしたが、「お金になる」というようなものではとてもありませんでした。もちろん、「労力、手間、時間、資源の削減」とか「役務提供」という形で利益を出すならわかります。ただし、「成果物（学習結果のアウトプット）を製品（プロダクト）としてお金を得る」ということはできないようなものでした。理由としてはハイパーパラメータを後出しで決定してばかりだったからです。このため、試験時のサンプル対象のみしか学習結果が有効でなく、それ以外のケースに応用できるとはとても思えませんでした。
機械学習に対する私の印象は、例えて言うならば「消せるボールペン」というようなところでしょうか。作業途上における能率の向上にはなりますが、契約等の約束事、法律行為において使用されるはずがないものでした。学生時の指導教授は外部協力者（すぐに協力を打ち切られましたが）からお金を得ていたようでダーティな感じがしたので学位をもらってからは殆ど関りがありません。
『試験時のサンプル対象のみしか学習結果が有効でなく、それ以外のケースに応用できるとはとても思えませんでした』これにつて、現在一番新鋭なDLでも一切変わりません！ －－－原理的に。
HogeAnimalLoverさん
コメントをありがとうございます。
お金になると言うのは、情報発信についてのつもりで書いていました。
実際に機械学習で商売するには障害が多く、お金をもらうのは難しそうです。
実用的な利用があるのは、買う側も機械学習の性質について理解があるケースや自社使用のケースではないでしょうか。
やはり成果物に対して根拠を示す手段が乏しく、理解がないとお金を払い難いというのが現状の気がします。
ただ、情報発信は違います。
夢を売ることでもあるので、無駄な煽りが多いと思います。
それに加えて、クリック率で稼げる時代ですから、誇張が少なくないように感じます。（直接・間接両方）
一番良いのはリテラシを持ってarXivを読むことでしょうか。
そこまで実装が大変なことは少ないので、実際に自分の目で確かめることも大事かと思います。
良い方法だと思うのであれば実装しておいて損はないですし、実装する面倒さが勝つのならそれほど良い方法ではないということでしょう…
>>leileiさん
やはりそうですよね。そうなると「試験時のサンプル」の用意の仕方、選び方にも当然依存するわけで、実環境での再現性がないということにも成りかねません。結局、「学習結果を他者に売り込む」ということはできないと考えております。もちろん、「実環境に即した充分なサンプルを用意できる」という場合なら意味はありますが、これは囲碁とかみたいに環境が有限で数式表現できる場合に限ります。現在の持ち上げ方は過剰であると思います。
>>mkgreiさん
なるほど。「お金になる」といのは「マスコミとかの立場で」という意味でしたか。それならば私も同意見です（いうまでもなく私は専門家ではないので、私如きと同じでも価値はありませんが）。
私的意見ですが、DLの過度な持ち上げ方、煽り方はSTAP細胞に似ているものを感じています。成果物自体に価値があるわけではなく、取り巻く環境の方に何か裏がありそうな気がします。この辺りのせいでどうも敬遠しているところです。
他者に売り込むのなら、試用期間で成果をあげる契約を結ばないといけないことは覚悟する必要があります。
一方で先端的企業なら知見だけを求めているケースもあるので、それほど汎用性はなくても行ける可能性があります。
---
少なくとも再現性があるという点において、STAPと同列に扱うのは語弊があるように思います。
機械学習は依然として繊細で難しい技術であることを意識しながら、活路を見出せば良いかと思います。
ただ特定領域についてはデータを用意すれば良いというのは否定し難いです。
それがビジネスに結びつくのかについてはまた別問題です。
何をもって「成果」と呼ぶかにもよります。仰る通り、企業は知見だけで良いというケースもあれば、学習結果をアプリケートしたいのかもしれません。私が学生時に教授が売り込もうとしたケースは後者でした。（ので実現できませんでした）
いうまでもなく、私は機械学習を全否定しているわけではありません。前述の通り、「実環境が有限で数式表現できる場合」は有用であると考えています（囲碁とか）。
ついでに「STAP細胞と似ている」と書いたのはマスコミの煽り方についてです。存在そのものの否定とか論文の不正を疑っているわけではありません。（まあ、論文投稿の手続きにおいて「実験後の勝手なパラメータ調整は不正である」ことを考えれば、「ハイパーパラメータの決定どうやっているのだ？」というのは疑問ですが。）
コメントをありがとうございます。
「試用期間で成果をあげる」と申し上げたので、「実稼働で要件を満たす性能を達成する」ということを念頭に置いています。
煽り方という側面においてSTAPに相似すると言っても、イメージの想起として不正があるように捉えうるという意味で、「語弊がある」と表現しました。
機械学習についてもSTAPについても、私は裏にあることは存じ上げておりませんので特にコメントは控えますが、こちらの質問・回答を参考にする方がいらっしゃる可能性を鑑みて誤解なきよう上記のコメントをいたしました。
ご容赦ください。
研究は良心に依存する側面が強いので不正を否定することは困難ですが、コードなども公開されているので、検証をしながら注意深く知識を取り入れれば良いように感じます。
テストデータに対して過学習させたスコアを上げることは破滅的な末路になりかねないので意図的にやることは少ないかと思いますが、注意不足で結果的にリークを起こして過学習するケースがあることを否定できません。
ハイパーパラメータは教師データのうちで交差検定で決定されるのが一般的だと思います。
0
私もこの分野について懐疑的な意見を持っているところです。
私の場合はDLではなくその一世代前のNN（BP含む）を学んだ時の印象なので、DLについてはいくらか改善しているとは思います。あらかじめご了承ください。
不安要素として、ブラックボックスの要素が強すぎるということがいえると思います。もちろん、これは利点でもあるのですが、悪意的な処置（手続き上の不正）をしやすいとも考えられます。また、ハイパーパラメータの選択も一概に決定できるものではありません。大筋の作りが同じでもハイパーパラメータが違えば、結果は大きく動き得るわけで、都度都度の「微調整」が必要であることも事実です。今、微調整といいましたが、実際はこの作業の影響力はかなりのウエイトを持つわけで、**これって自動化といえるのか？**と疑問を持つこともありました。
どうも怪しいと思っているところがあります。
投稿2018/05/02 11:10
総合スコア4830
コメントありがとうございます。
DNNの弱点に同感です！
「DNNの弱点」といえるかはわかりませんが、私はこれを良くないものであると考えています。
技術的なアドバンテージとして世間ではもてはやされているところですけれど、私は別の意味があると疑問視しています。表面化しないところ（隠しパラメータとか）で辻褄を合わせているだけであって有意性のない主張がまかり通っているのではないかと感じています。消せるボールペンと同じように事務処理や書類手続き上怪しいものではないかと考えているところです。
自分であれば、仕様書の確認（見落とし、欠陥がないか）、契約書の確認（悪意ある約束でないか）、流通している金銭の出元の確認（ブラックマネーの混在はないか）など、技術とは別の方向に目を向けるということを考えます。（弁護士とか法的機関に相談する）
0
項番１について
モデリングは、「モデルの仮説の設定」・「モデルの学習」・「仮説の評価」というプロセスで進められます。したがって、学習結果は必ず統計的な有意性やドメイン知識に基づく意味性を評価した上で学習結果を採用するかどうかを決定するものなので、「DLは…」のくだりの正否はあまり悩む価値がないような気がします。
項番２について
指摘するような事実が存在するようなモデルは、ダメなモデルであるか分析者が意味のある解釈が得られていないかのいずれかのように思います。
項番３について
Rでベイジアンネットワークを扱うとネットワーク構造（グラフ構造）を示してくれるそうです。しかしながら、その結果が適切であるかは「評価」によって確認されるべきものなので出力結果をそのまま信じるようなスタンスは回避すべきかと思います。
項番４について
汎化性能は、モデルの評価（ひいては仮説の評価）のひとつの見方なので、ここだけ取り出して「創造的な推論機能を期待(信用)できない」とするのは実戦的ではないような気がします。
項番５について
一応、ベイジアンニューラルネットワークは結構古くから存在するそうです。pythonだと、Edwardというパッケージが有名のようです。ただ、ここから『知能』が生まれるかについては懐疑的です。（このあたりは、東ロボくんプロジェクトの主幹の新井紀子氏の成果をご覧になると面白いです）
投稿2018/05/02 21:03
総合スコア3376
前向きのお話ありがとうございます。
参考させていただきます。
＞項番２について 指摘するような事実が存在するようなモデルは、ダメなモデルであるか分析者が意味のある解釈が得られていないかのいずれかのように思います。
項番２はDNNの世界では一般的な現象だと思います。これこそ悩ましい処だと思います。
どのDNNもhyperparametersに依存し、敏感に反応するでしょう。
そして、抽出した『画像特徴』も、画像処理分野の人間が言っているのと全然違う意味です。
まあ、解釈はいろいろありますけれども、自分には「本質的な特徴」と特定条件下の「偶然的な反応」とは概念上が違うという考え方あります。。。これに関してpragmatism的な考え方もありますから、さらに議論しません。
0
直接の回答ではありませんが、
今は第何次の AIブームなんでしょうか? まあ、数えても良いですが、繰り返し来る波の一つと考えれば、そんなもんかと。
一つ言えるのは以前のブームの時、コンピュータパワーでは、全く歯が立たなかった事が今は可能になっているという事です。過大な期待が掛かっているいるのは、今も昔も。
当面はどこまでできるのか? 頑張っても良いのではないかと思います。
まあ、ブームに乗っているだけの企業が多いとは思いますが、それを利用するの一つの在り方でしょう。
投稿2018/05/02 12:52
総合スコア6383
あなたの回答
tips
プレビュー
