質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

ただいまの
回答率

90.76%

  • TensorFlow

    607questions

  • 機械学習

    600questions

    機械学習は、データからパターンを自動的に発見し、そこから知能的な判断を下すためのコンピューターアルゴリズムを指します。人工知能における課題のひとつです。

  • 深層学習

    135questions

"Deep Learning" に対する再考

受付中

回答 4

投稿 編集

  • 評価
  • クリップ 8
  • VIEW 526

oookabe

score 77

世の中のDeep Learning宣伝によって、
自分にはDL(等価的ではないが、以下CNN/DNNと称します)に対する『過大視』のようのものがありました。

今になってようやく下記の幾つかの点について気付いたのです。
この分野に関心のある方、どんなご意見でも宜しいので、ご批判やコメントを承りたいと思います。
"当たり前や,どうじて最初から分からなかったの?"というようなご意見も歓迎いたしますが、
批判的なコメントがもっと好ましいでございます。

1. CNN/DNNは因果関係や規則を発見するのではないし、指定した仮説を現実的な意味で成立するかどうかを判定してくれるものでもない。
単に人間が指定した「仮説」を成立させるために、指定因果間の無理やり射影機能を持たせるに過ぎない。
(これは莫大なパラメーターを通じて、強烈な数値辻褄合わせで実現された)

2. CNN/DNNが形成後の中間数値は(eg,各「特徴map」やpooling)に表現されているデータは
対象物の人間にとって有意味の「固有特徴」として考えにくく、
単に強烈な数値辻褄合わせのための副産物に過ぎない。

∵ それは如何なる外的な要素(eg, hyperparameters)にも敏感に反応し,全然違うものに変動するのだから。
【画像認識の場合、中間処理結果の可視化によってobject パーツらしい模様が現れるのは、もともと画像だから、それに対する局所的な算術計算の結果も当然それなりに元の画像模様を反映する-----これ以上の意味を持たない!】
これに関してDNNの一部の開発者の言っている画像の「Feature Extractor」という表現に惑わされないように注意したい。(Eg, YOLO作者の論文, 等)

3. 上述のように、DLは能動的に 潜在関係や規律を発見してくれるのでなく、
まったく"受動的に"人間が明示的、または強く暗示した関係を成立させる仕組みである。
これに対して、data miningのための一部手法、例えば、Bayesian networkのようなものは「能動的」に なまのデータから関係や規則を発見する能力を持ち、『知能』という表現に相応しい。

4.  DLは本質的に『過学習』で、原理的に『過学習』は必要とし、『過学習』の上で初めて成り立つ。
なので、大きな『汎化性能』=創造的な推論機能を期待(信用)できない。
従って、応用面においてDLの『過学習』本質と人間が期待している『汎化性能』の間に大きなジレンマが存在するはず。

これに対して、Bayesian networkのようなものは『過学習』が存在しない

5.  DLはBayesian networkのようなものと結婚すれば、真の『知能』に近いものが生まれるかもしれない。

6.  技術的な視点からすれば「Error propagation」はDLのために存在するのでなく、DLは「Error propagation」のために構造した。

「Error propagation」は多量の変数を最適化 ➡ 偏微分 ➡ 微分の伝達性、可分解性を利用するための数学からの要望で、多変数を最適化するための限られた手法の代表であり、簡単に置き換えられない。
それに、propagation = feedbackは【古典制御理論】から【現代制御理論】までの基本方法で、安易に否定できない。

背景

以前、NNに関する知識があるものの、深層学習について、全然経験なく、その中身もここの皆様に御伺いしながらようやくある程度分かるような気がします。。。。ただし、確実ではないのです。
当初思い込みのような部分があったと強く感じます。 
自分はどんな技術に対しても、その性格や特徴を把握してから、利用したいもので、今の自分の認識を出して、有識者の方に評をいただきたいのです。
決して『Deep learning』の有効性を否定するのではなく、 他の処でも述べたように、むしろこれまでのobject追跡法(特徴点法)より優れると思います。 
利用できるように努力したいのですね。 
ただし、自分の当初の感覚や期待とは大きなずれがあるかと思います。

  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

質問への追記・修正、ベストアンサー選択の依頼

  • oookabe

    2018/05/03 15:12 編集

    mkgrei さん お返答ありがとうございます。『知能だと思って深層学習をやっている人なんてほとんどいないと思いますし』ーーーそうですか、私は全然逆でした。 NNに関する知識があるものの、深層学習について、全然経験なく、その中身もここの皆様に御伺いしながらようやくある程度分かるような気がします。。。。ただし、確実ではないのです。当時は思い込みのような部分があったと強く感じます。 自分はどんな技術に対しても、その性格や特徴を把握してから、利用したいもので、今の自分の認識を出して、mkgreiさんを含む有識者の方に評をいただきたいのです。決して『Deep learning』の有効性を否定するのではなく、 他の処でも述べたように、むしろこれまでのobject追跡法(特徴点法)より優れると思います。 利用できるように努力したいのですね。 ただし、自分の当初の感覚や期待とは大きなずれがあるかと思います。

    キャンセル

  • mkgrei

    2018/05/03 16:14

    少なくとも今の深層学習のできることは「知能」がなくてもこなせるようなタスクから人を解放することです。例えば自動翻訳の発展はめざましく、翻訳家を雇わなくても外国語を容易に読める時代になりました。適材適所といったところでして、確かに深層学習は世の中に多大な価値をもたらしました。原理的なことを議論するのであれば、「知能」が何かをまず見直すことですね。上記の質問はoookabeさんが実用的な観点に興味があるのか、それとも哲学的な側面に興味があるのか、どちらでしょうか?

    キャンセル

  • oookabe

    2018/05/03 16:25

    自分はどちらかというと、『実用主義』ですね。ただ、目を閉じてとにかく利用や開発するのは『リスク』が大きすぎで、やはり、その方法の原理的や本質的、または特徴的な側面を探ってみたいのですね。それから何かを決めたいのです。

    キャンセル

回答 4

+5

お金になるものなので、深層学習についての情報は批判的に読んでちゃんと納得したものを信じるべきです。

実用的な側面を意識してみます。

  1. 汎用的なモデルは因果関係と相関関係を区別するすべはありません。
    段階的に複数のモデルを必要としないことが深層学習の売りの一つであるからして、原理的に回避し難い問題です。

  2. 中間層についてはもとより特に人間が解釈するものではありませんでした。
    https://googleblog.blogspot.jp/2012/06/using-large-scale-brain-simulations-for.html
    ただ、モデルの納得感を確認する方法として利用できます。

  3. DataMiningで関係や法則を発見するのは人間です。
    そのために統計的な手法を使っているに過ぎません。

  4. 「過学習」が定義されていないので、なんとも言い難いのですが、機械学習の文脈ならば、学習したデータが学習していないデータより明らかに精度良く予測できるのなら過学習していることが言えるだけです。
    同じ程度の精度で予測できたとしても過学習していないとは言い切れません。

  5. Bayesianっぽい深層学習の方法はあります。
    Bayesianが過学習しないということは自明ではありません。
    https://stats.stackexchange.com/questions/321841/what-are-variational-autoencoders-and-to-what-learning-tasks-are-they-used
    https://stats.stackexchange.com/questions/265094/is-it-true-that-bayesian-methods-dont-overfit

  6. ニュートン法が運動方程式を解くためにあるわけではないように、誤差伝播法は深層学習のためにあるわけではありません。
    運動方程式も別にニュートン法で解けるように作られているわけではありません。


おっしゃるように深層学習には曖昧で予測不可能な側面があります。
ですので、自動運転などでは確定的な手法と組み合わせて使用されることだろうと思います。
クレジットカードの不正使用検知も自動翻訳も、失敗しても重症とはならなかったり、そもそも他にやる方法がないような利用法です。
うまく深層学習が得意な領域を見つけて、他の方法と組み合わせながら使いこなしてやってください。

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2018/05/04 01:02

    貴重なアドバス本当にありがとうございます!

    キャンセル

  • 2018/05/04 20:47

    「お金になるもの」という部分について気が付いたことがあるのでコメントします。閲覧注意です。

    私が学生時にテーマとしていたものも機械学習の一種(DLの前時代のNNとか)でしたが、「お金になる」というようなものではとてもありませんでした。もちろん、「労力、手間、時間、資源の削減」とか「役務提供」という形で利益を出すならわかります。ただし、「成果物(学習結果のアウトプット)を製品(プロダクト)としてお金を得る」ということはできないようなものでした。理由としてはハイパーパラメータを後出しで決定してばかりだったからです。このため、試験時のサンプル対象のみしか学習結果が有効でなく、それ以外のケースに応用できるとはとても思えませんでした。

    機械学習に対する私の印象は、例えて言うならば「消せるボールペン」というようなところでしょうか。作業途上における能率の向上にはなりますが、契約等の約束事、法律行為において使用されるはずがないものでした。学生時の指導教授は外部協力者(すぐに協力を打ち切られましたが)からお金を得ていたようでダーティな感じがしたので学位をもらってからは殆ど関りがありません。

    キャンセル

  • 2018/05/04 23:59

    『試験時のサンプル対象のみしか学習結果が有効でなく、それ以外のケースに応用できるとはとても思えませんでした』これにつて、現在一番新鋭なDLでも一切変わりません! ---原理的に。

    キャンセル

  • 2018/05/05 09:59

    HogeAnimalLoverさん
    コメントをありがとうございます。

    お金になると言うのは、情報発信についてのつもりで書いていました。
    実際に機械学習で商売するには障害が多く、お金をもらうのは難しそうです。

    実用的な利用があるのは、買う側も機械学習の性質について理解があるケースや自社使用のケースではないでしょうか。

    やはり成果物に対して根拠を示す手段が乏しく、理解がないとお金を払い難いというのが現状の気がします。

    ただ、情報発信は違います。
    夢を売ることでもあるので、無駄な煽りが多いと思います。
    それに加えて、クリック率で稼げる時代ですから、誇張が少なくないように感じます。(直接・間接両方)

    一番良いのはリテラシを持ってarXivを読むことでしょうか。
    そこまで実装が大変なことは少ないので、実際に自分の目で確かめることも大事かと思います。

    良い方法だと思うのであれば実装しておいて損はないですし、実装する面倒さが勝つのならそれほど良い方法ではないということでしょう…

    キャンセル

  • 2018/05/05 12:47 編集

    >>leileiさん
    やはりそうですよね。そうなると「試験時のサンプル」の用意の仕方、選び方にも当然依存するわけで、実環境での再現性がないということにも成りかねません。結局、「学習結果を他者に売り込む」ということはできないと考えております。もちろん、「実環境に即した充分なサンプルを用意できる」という場合なら意味はありますが、これは囲碁とかみたいに環境が有限で数式表現できる場合に限ります。現在の持ち上げ方は過剰であると思います。

    >>mkgreiさん
    なるほど。「お金になる」といのは「マスコミとかの立場で」という意味でしたか。それならば私も同意見です(いうまでもなく私は専門家ではないので、私如きと同じでも価値はありませんが)。

    私的意見ですが、DLの過度な持ち上げ方、煽り方はSTAP細胞に似ているものを感じています。成果物自体に価値があるわけではなく、取り巻く環境の方に何か裏がありそうな気がします。この辺りのせいでどうも敬遠しているところです。

    キャンセル

  • 2018/05/05 22:45

    他者に売り込むのなら、試用期間で成果をあげる契約を結ばないといけないことは覚悟する必要があります。
    一方で先端的企業なら知見だけを求めているケースもあるので、それほど汎用性はなくても行ける可能性があります。

    ---

    少なくとも再現性があるという点において、STAPと同列に扱うのは語弊があるように思います。

    機械学習は依然として繊細で難しい技術であることを意識しながら、活路を見出せば良いかと思います。

    ただ特定領域についてはデータを用意すれば良いというのは否定し難いです。
    それがビジネスに結びつくのかについてはまた別問題です。

    キャンセル

  • 2018/05/05 23:06 編集

    何をもって「成果」と呼ぶかにもよります。仰る通り、企業は知見だけで良いというケースもあれば、学習結果をアプリケートしたいのかもしれません。私が学生時に教授が売り込もうとしたケースは後者でした。(ので実現できませんでした)

    いうまでもなく、私は機械学習を全否定しているわけではありません。前述の通り、「実環境が有限で数式表現できる場合」は有用であると考えています(囲碁とか)。

    ついでに「STAP細胞と似ている」と書いたのはマスコミの煽り方についてです。存在そのものの否定とか論文の不正を疑っているわけではありません。(まあ、論文投稿の手続きにおいて「実験後の勝手なパラメータ調整は不正である」ことを考えれば、「ハイパーパラメータの決定どうやっているのだ?」というのは疑問ですが。)

    キャンセル

  • 2018/05/05 23:39

    コメントをありがとうございます。

    「試用期間で成果をあげる」と申し上げたので、「実稼働で要件を満たす性能を達成する」ということを念頭に置いています。

    煽り方という側面においてSTAPに相似すると言っても、イメージの想起として不正があるように捉えうるという意味で、「語弊がある」と表現しました。
    機械学習についてもSTAPについても、私は裏にあることは存じ上げておりませんので特にコメントは控えますが、こちらの質問・回答を参考にする方がいらっしゃる可能性を鑑みて誤解なきよう上記のコメントをいたしました。
    ご容赦ください。

    研究は良心に依存する側面が強いので不正を否定することは困難ですが、コードなども公開されているので、検証をしながら注意深く知識を取り入れれば良いように感じます。

    テストデータに対して過学習させたスコアを上げることは破滅的な末路になりかねないので意図的にやることは少ないかと思いますが、注意不足で結果的にリークを起こして過学習するケースがあることを否定できません。

    ハイパーパラメータは教師データのうちで交差検定で決定されるのが一般的だと思います。

    キャンセル

+4

 私もこの分野について懐疑的な意見を持っているところです。

私の場合はDLではなくその一世代前のNN(BP含む)を学んだ時の印象なので、DLについてはいくらか改善しているとは思います。あらかじめご了承ください。

不安要素として、ブラックボックスの要素が強すぎるということがいえると思います。もちろん、これは利点でもあるのですが、悪意的な処置(手続き上の不正)をしやすいとも考えられます。また、ハイパーパラメータの選択も一概に決定できるものではありません。大筋の作りが同じでもハイパーパラメータが違えば、結果は大きく動き得るわけで、都度都度の「微調整」が必要であることも事実です。今、微調整といいましたが、実際はこの作業の影響力はかなりのウエイトを持つわけで、これって自動化といえるのか?と疑問を持つこともありました。

どうも怪しいと思っているところがあります。

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2018/05/03 16:34

    コメントありがとうございます。
    DNNの弱点に同感です!

    キャンセル

  • 2018/05/04 22:40

    「DNNの弱点」といえるかはわかりませんが、私はこれを良くないものであると考えています。

    技術的なアドバンテージとして世間ではもてはやされているところですけれど、私は別の意味があると疑問視しています。表面化しないところ(隠しパラメータとか)で辻褄を合わせているだけであって有意性のない主張がまかり通っているのではないかと感じています。消せるボールペンと同じように事務処理や書類手続き上怪しいものではないかと考えているところです。

    自分であれば、仕様書の確認(見落とし、欠陥がないか)、契約書の確認(悪意ある約束でないか)、流通している金銭の出元の確認(ブラックマネーの混在はないか)など、技術とは別の方向に目を向けるということを考えます。(弁護士とか法的機関に相談する)

    キャンセル

+3

直接の回答ではありませんが、
今は第何次の AIブームなんでしょうか? まあ、数えても良いですが、繰り返し来る波の一つと考えれば、そんなもんかと。
一つ言えるのは以前のブームの時、コンピュータパワーでは、全く歯が立たなかった事が今は可能になっているという事です。過大な期待が掛かっているいるのは、今も昔も。
当面はどこまでできるのか? 頑張っても良いのではないかと思います。
まあ、ブームに乗っているだけの企業が多いとは思いますが、それを利用するの一つの在り方でしょう。

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2018/05/03 16:32

    コメント有難うございます。
    そうですね。疲れ感はあります。

    キャンセル

+3

項番1について
モデリングは、「モデルの仮説の設定」・「モデルの学習」・「仮説の評価」というプロセスで進められます。したがって、学習結果は必ず統計的な有意性やドメイン知識に基づく意味性を評価した上で学習結果を採用するかどうかを決定するものなので、「DLは…」のくだりの正否はあまり悩む価値がないような気がします。

項番2について
指摘するような事実が存在するようなモデルは、ダメなモデルであるか分析者が意味のある解釈が得られていないかのいずれかのように思います。

項番3について
Rでベイジアンネットワークを扱うとネットワーク構造(グラフ構造)を示してくれるそうです。しかしながら、その結果が適切であるかは「評価」によって確認されるべきものなので出力結果をそのまま信じるようなスタンスは回避すべきかと思います。

項番4について
汎化性能は、モデルの評価(ひいては仮説の評価)のひとつの見方なので、ここだけ取り出して「創造的な推論機能を期待(信用)できない」とするのは実戦的ではないような気がします。

項番5について
一応、ベイジアンニューラルネットワークは結構古くから存在するそうです。pythonだと、Edwardというパッケージが有名のようです。ただ、ここから『知能』が生まれるかについては懐疑的です。(このあたりは、東ロボくんプロジェクトの主幹の新井紀子氏の成果をご覧になると面白いです)

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2018/05/03 16:31

    前向きのお話ありがとうございます。
    参考させていただきます。

    キャンセル

  • 2018/05/03 16:55 編集

    >項番2について 指摘するような事実が存在するようなモデルは、ダメなモデルであるか分析者が意味のある解釈が得られていないかのいずれかのように思います。

    項番2はDNNの世界では一般的な現象だと思います。これこそ悩ましい処だと思います。
    どのDNNもhyperparametersに依存し、敏感に反応するでしょう。
    そして、抽出した『画像特徴』も、画像処理分野の人間が言っているのと全然違う意味です。
    まあ、解釈はいろいろありますけれども、自分には「本質的な特徴」と特定条件下の「偶然的な反応」とは概念上が違うという考え方あります。。。これに関してpragmatism的な考え方もありますから、さらに議論しません。

    キャンセル

15分調べてもわからないことは、teratailで質問しよう!

  • ただいまの回答率 90.76%
  • 質問をまとめることで、思考を整理して素早く解決
  • テンプレート機能で、簡単に質問をまとめられる

関連した質問

  • 解決済

    MNISTデータセットの読み込み

    ディープラーニングで使用される手書き数字の画像セット「MNIST」の読み方を教えてください。 google検索で探した MNISTに関するサイトのコードをanacondaに入

  • 解決済

    ニューラルネットワークの推論処理のプログラムでエラーが出てしまいます。(ゼロから始めるdeepler...

    前提・実現したいこと オライリー・ジャパンの”ゼロから始めるdeeplearning”を使って機械学習を勉強しています。(現在3.6.2章です) 下記のソースコードを実行し

  • 受付中

    DeepLearning CNN 画像のサイズについて

    CNNで画像分類をやろうと考えています。 現在、画像を収集している段階なのですが、画像のサイズが様々あり、リサイズする必要があります。 そこでなのですが、学習に都合の良い画

  • 解決済

    TensoeFlowの画像分類(CNN)の処理が分からない.

    以下のコードがどういった処理を行っているのかわかりません. TensorFlowを用いた画像分類のCNN法のコードなのですが,どういう方法でニューラルネットワークを構築しているのか

  • 解決済

    D-CNNの画像特徴抽出に対する誤解?

     背景 最近この掲示板で皆さんにお伺いしながら、D-CNNの原理を初歩的に勉強した結果として、 次のような感覚を持ちました。 【1】  D-CNNでは 米、車、海藻、虎 、、、

  • 受付中

    CNNに関する他人の"感覚"からですけれども

    oookabe様の質問記事【D-CNNの画像特徴抽出に対する誤解?】 (https://teratail.com/questions/118130)の中に下記内容が書かれました:

  • 解決済

    I have a dream ----DNNでDNNの構造を決める

    DNNの構造やweight以外のパラメーター【所謂"ハイパーパラメータ"】を決めるのは大変らしいですね。 なので、例えば、 画像認識など分野において、これまで成功したDNNの応

  • 受付中

    CNN+DNN分類策略について

    例えば、 {キャベツ、トマト、牛蒡、胡瓜、西瓜、ネギ、玉ネギ、、、}を野菜とし {メロン、林檎、砂糖キビ、ナツメ、キウイフルーツ }を果物とします。 このような分類は視覚上全然

同じタグがついた質問を見る

  • TensorFlow

    607questions

  • 機械学習

    600questions

    機械学習は、データからパターンを自動的に発見し、そこから知能的な判断を下すためのコンピューターアルゴリズムを指します。人工知能における課題のひとつです。

  • 深層学習

    135questions