Q&A
「過学習が起こり気味」と書いてますが、実際に起きている現象としては、学習データに対するaccuracyは上がっていくのに、評価データに対するaccuracyは上がらない(どころか下がっていく)ということで合ってますか?
現在猫犬画像の分類を行っているのですが過学習が起こり気味なので調べた一つの手法としてアンサンブル学習が見つかりました。
そこでこれを実装したいのですが今の私の環境から行ってどのように実装すれば良いかわからないのでアドバイスをいただきたいです。
現在は猫犬画像をopencvの環境で一つ一つの画像をimread,resize正規化して
onehotで猫、犬、その他のラベル付けをしています。
[1,0,0]
その画像をnumpy.asarrayで配列化していて学習データとしているのですが
ためしにskf = StratifiedKFold(n_splits=fold_num)として
for train, test in skf.split(x_add,y_add):
このときx_addは全ての学習データのasarrayが入っています。
y_addには全てのonehotラベルの入っています。
例：[[1,0,0],[0,0,1],[0,1,0],[0,0,1],...[1,0,0]]
この結果
File "kml_train_4.py", line 131, in <module> for train, test in skf.split(x_add,y_add): File "/Users/hoge/.pyenv/versions/anaconda3-4.3.1/envs/opencvtest/lib/python3.5/site-packages/sklearn/model_selection/_split.py", line 322, in split for train, test in super(_BaseKFold, self).split(X, y, groups): File "/Users/hoge/.pyenv/versions/anaconda3-4.3.1/envs/opencvtest/lib/python3.5/site-packages/sklearn/model_selection/_split.py", line 91, in split for test_index in self._iter_test_masks(X, y, groups): File "/Users/hoge/.pyenv/versions/anaconda3-4.3.1/envs/opencvtest/lib/python3.5/site-packages/sklearn/model_selection/_split.py", line 610, in _iter_test_masks test_folds = self._make_test_folds(X, y) File "/Users/hoge/.pyenv/versions/anaconda3-4.3.1/envs/opencvtest/lib/python3.5/site-packages/sklearn/model_selection/_split.py", line 597, in _make_test_folds cls_test_folds = test_folds[y == cls] IndexError: too many indices for array
とされてしまいましたがどうにかして実装したいのですがいい方法はないでしょうか？
足りない情報は補足いたしますが、コード全文は記述できませんすみません。
回答2件
0
ベストアンサー
for train, test in skf.split(x_add,y_add):
のように、splitに引数を２つ与えているので、出てくるのは４つです
for x_add_train, x_add_test, y_add_train, y_add_test in skf.split(x_add, y_add):
蛇足です：
あまり、提示されているリンク先の内容で汎化性能が向上するイメージが私にはありません。
普通にDropoutで頑張った方が良いと思いますが、やっていますよね？
投稿2017/07/24 02:25
編集2017/07/24 02:36
総合スコア1150
回答ありがとうございます。
dropoutと同様の効果ですか？それならやっていますね…。
あまりにも学習ができないもので困っています。
dropoutを多用したりdropoutの割合を大きくしすぎると収束しないものですか？
また、lossが異常に下がった時があったのでうまくいったとおもいましたが、推定結果ではほとんどが猫のように判断されてしまったりうまくいかないことが多いです。
手法の目的は違います。
わたしには、ひとつのモデルに与えるデータ量の減少による悪影響のほうが大きいように思えます。
もちろんやってみないとわからないですが。
単純にデータを増やしたり、誤識別しやすいデータ外して学習したり（子猫、子犬とか？）するほうが効果があるのではないでしょうか？
まずはそちらでやってみますね。また新たな手法を見つけたり問題点が見つかりましたら質問させていただきますのでよろしくお願いいたします。いつもありがとうございます。
ドロップアウト率を増やすと学習は遅くなります。パラメータによりますけれど、5倍ぐらいは遅くなると覚悟してください。
パラメータが少なければ少ないほど早く収束するが精度はよくないみたいなことはございますか？
もちろんパラメータが少ない方が早く収束します。
モデルの大きさはデータ量に依存すると思います。データ量が少なければ、モデルも相対的に小さいほうが予測精度が上がるでしょう。このあたりは議論があるところです。
わかりやすくありがとうございます。理解できました。
0
そもそも、目的と道具が合っていないと思います。
交差検証法はあくまで、そのモデルがどの程度妥当なのかを「検証」する方法であって、過学習を防ぐ方法ではありません。
投稿2017/07/24 02:05
総合スコア1150
https://lp-tech.net/articles/Y56uo
申しわけございません。
こちらには以下のような記述があり
理論的にも納得はできるのですが意味はないですか？
データを複数のグループに分けて交差検証（K-fold）を行うことにより、過学習（訓練用画像に特化した最適化が起きること）を抑制することができます。
これは交差検証法ではなくアンサンブル学習です。
名前が違うのですね申しわけございません。タイトルや要望の改変もします。このような実装を行いたいです。
上記サイトで記述されたコーディングを参考に書き直しましたが
分割される様子はございません。
普通は1epochの間に５パターンの学習がされますよね？
あなたの回答
tips
プレビュー
