Deep learningを用いた4種類の画像分類

Question

前提

Deep learningを用いた4種類の画像分類

実現したいこと

• Deep learningを用いた画像分類の精度を上げたい
• 決定木の考え方を取り入れたい

試したこと

そのまま全ての画像を入力して、4つに分類するモデルを構築した。が、性能があまりよくなかった。

やりたいこと

2段間(0、1 or 2、3と偶数 or 奇数)で行うことができる画像分類タスクのため、決定木の考え方を取り入れられそうと考えている。

ResNetを2つ用意して、1以下と2以上に分けるネットワークと、偶数か奇数かを分けるネットワークを統合して、推定すれば決定木の考え方を取り入れた判定になっておりますでしょうか。

Comments

[退会済みユーザー]

質問は、
・　一連の投稿内容であれば精度が上がりそうか？
・　一連の投稿内容は思った通りの実装ができそうか？
でしょうか？

それとも、
・　一連の投稿内容の内容に至った経緯は○○で、もしほかに方法があれば聞きたい。
でしょうか？

mgjptwさんがどう考えてこの投稿したかによって、だいぶ答え方も答えに至るまでに確認したいことも変わるように思います。

[mgjptw]

ご指摘の通り、質問したいことは、
・　一連の投稿内容であれば精度が上がりそうか？実装可能かどうか？
です。
よろしくお願いします。

[退会済みユーザー]

回答ありがとうございます。
サンプルでよいのでどういう画像を学習させようとしているか、何枚くらい用意するかといった情報も載せられますか？mnistよりもずいぶん大きい画像のようで、学習のためのデータもステップ数も相当たくさん必要そうです。

[mgjptw]

mnistです。画像サイズが異なっておりました。120×120 -> 28×28です。大変失礼いたしました。

[退会済みユーザー]

mnistのデータセットを学習させようとしてうまくいかなかったということでしょうか？

もしそうであればネットワークの定義がおかしい可能性が高いです。MNISTであれば4-5層くらいのシンプルなネットワークでもちゃんとすれば95%くらいはいくはずのためです。

今一度、MNISTのデータそのものなのか、MNISTと同じフォーマットで独自データを使いたいのか、何枚くらい学習させたいのか等のデータを提示ください。

[mgjptw]

ネットワークを再確認してみます。ありがとうございます。

Answer 1

・　一連の投稿内容であれば精度が上がりそうか？実装可能かどうか？

データの素性はともかく、取り急ぎ回答をします。

結論

「画像の上半部が０１か２３ぽいか」、「偶数か奇数か」、「0１か２３か」のような決定木を模倣したネットワークに、その後詳細判別ネットワークを重ねても　恐らく　うまくいきません。

理由

まず思考実験をします。上のどの条件でも良いですがどれかについて考えます。

例）
人間のイメージ
例えば偶数下記数かの判定にですと、０２と１３がグルーピングされるはずです。
形の類似度について考えると２と３は近くて、３と０も近いかもしれません。
一方、１はずいぶん異なる形をしています。
上には適当に書きましたが、実際にCNNもそう判定する（リンク先一番下の画像）という結果が公開されていますね。

CNNの気持ち - 特徴を集約する
CNNでは、層の初めの方は局所的なエッジ情報を捉え、畳み込みながら大局的な情報の特徴に集約させます。
そして、全結合層のところに例えば32個の特徴量があったとすれば、
例えば28x28=784この情報がたったの32個まで集約された、と言えます。
この集約された、という処理は埋め込み(Embeddings)と呼ばれています。
784次元のデータを32次元に投影させたイメージです。
たとえば、3次元のものを2次元の俯瞰図に投影するイメージです。

CNNの気持ち - 人間様の都合はお構いなし
先の埋め込みの結果を考えてもらうと分かりますが、
もし、１と０２３のグループに分けるタスクであれば「似ているものを寄せ集める」タスクになり、
一貫性のある仕事をするCNNになります。おそらくが筋がよいでしょう。

一方、
０１、２３のグループに分けるタスクであれば、「類似度関係なしに仕分ける」タスクになり、
難易度が上がった仕事をするCNNになります。０のところに２や3が入りこむリスクが上がります。

CNNの気持ち - 後段のネットワーク
仮に、初めのCNNの分類タスクが１と０２３の二つに分けタスクだった時に、
後段のネットワークは０２３を分離させるネットワークになります。

０２３は似ているけれども違うものばかりが集約されており、学習させれば「どこが違うか」に注目
すると思いますので、いくらか精度は上がるかもしれません。
ただし、これが０１と２３のように人間の都合で分けた結果であれば、前座の処理がこけるリスクが高い
と思いますので、あまり筋がよいやり方とは私は思いません（やっていないので想像です）。

誤差軽減策について
特に、通常のMNIST用ネットワークと違い、2段に分けて処理させようとした場合、
一段目がコケた時に誤った情報を二段目のネットワークに送ることになります。
たとえば、「１の画像に対して２３どっち？」と聞く可能性があるわけです。
２３どちらかしか選択肢がないため、うまい判定のしようがなくなってしまいます。

通常のネットワーク構成であれば、全体最適化を図りますので、こういったリスクは下がるはずです。

CNNについて
ご存じと思いますが、畳み込み処理とニューラルネットワークの１つ１つが特徴抽出器であり、非線形な判別装置としてふるまいます。うまく言えませんが、つまるところ、CNNは数式と畳み込みによる非線形の超柔軟な決定木を、位置情報を生かしながらピクセル単位で積み上げているような働きをしている、と私は理解しています。