【Tensorflow】機械学習チュートリアルでretrain.pyを動かしても学習データが認識されない

Question

このチュートリアルに従って、機械学習プログラムを作って実践してみました。

https://www.tensorflow.org/hub/tutorials/image_retraining

以下のように学習を実施しています。

python3 retrain.py
--bottleneck_dir=bottlenecks
--how_many_training_steps=100
--model_dir=inception
--summaries_dir=training_summaries/basic
--output_graph=retrained_graph.pb
--output_labels=retrained_labels.txt
--image_dir=gakusyu_data

5種類の動物の画像データを、それぞれ60枚ずつ与えました。
これは問題なく学習完了し、以下のコードを実行すると結果が5種類帰ってきました。

./tensorflow/bin/activate
python3 ./train/label_image.py --image $imgfile --graph ./train/retrained_graph_max.pb --labels ./train/retrained_labels_max.txt --input_layer=Placeholder
deactivate

$imgfileは与える画像ファイルです。

その後、30種類のデータで各100枚ずつ学習させると、以下のような出力を確認しました。

...
(many INFO lines)
...
INFO:tensorflow:Initialize variable module/InceptionV3/Mixed_7c/Branch_3/Conv2d_0b_1x1/weights:0 from checkpoint b'/tmp/tfhub_modules/11d9faf945d073033780fd924b2b09ff42155763/variables/variables' with InceptionV3/Mixed_7c/Branch_3/Conv2d_0b_1x1/weights
INFO:tensorflow:Restoring parameters from /tmp/_retrain_checkpoint
INFO:tensorflow:Froze 378 variables.
INFO:tensorflow:Converted 378 variables to const ops.

その後、以下の内容を実行したところ、5種類しか帰ってきませんでした。

./tensorflow/bin/activate
python3 ./train/label_image.py --image $imgfile --graph ./train/retrained_graph_max.pb --labels ./train/retrained_labels_max.txt --input_layer=Placeholder
deactivate

retrained_labels.txtには全種類の記載があります。

エラーが確認できていないため、事象も把握できていません。
何かヒントはありますでしょうか。

コードはこちらです。
https://github.com/octocatz/tensorflow4cat/tree/staging

Answer 1

クラス分類ということは出力層から各クラスごとの確率値が出てきます。
元の Example が5クラス分類問題ということは、出力層の出力数(ニューロン数) は5になっています。
このモデルに30クラスあるデータセットを与えたとしても5個の値しかでてきません。

このモデルで30クラスの分類をしたい場合は、ネットワークの出力層の出力数を30に変更する必要があります。

---

データセットとして使用している tensorflow4cat/cat4cat/train/bottlenecks_max/ は19個なので、30クラスでなく、19クラスですね。

そして質問内容の原因ですが、5個しかでてきていなかった原因は、モデルの出力としては19クラスの確率値が出力されていたが、label_image.py で上位5クラスだけ表示するようになっていたからです。

以下の行で降順ソート → 末尾5個 → reverse なので、上位5個にしぼられています。変数名にも top_k と書かれていますね。

top_k = results.argsort()[-5:][::-1]  # 上位5個だけ

19クラス全部の確率値を表示したい場合は以下のようにしてください。

  print(results.shape)  # (19,)
  # 確率値なので合計1になることを確認
  print(np.sum(results))  # 1.0000001

  # 昇順ソート
  top_k = results.argsort()[::-1]
  labels = load_labels(label_file)
  for i in top_k:
    print('{}: {:.2f}'.format(labels[i], results[i]))

tonkinese: 0.46
birman: 0.10
ragdoll: 0.07
singapura cat: 0.05
abyssinian: 0.04
munchkin cat: 0.03
laperm: 0.02
scottish fold: 0.02
ragamuffin: 0.02
bengal: 0.02
somali cat: 0.02
scottish straight: 0.02
egyptianmau: 0.02
american shorthair: 0.02
british shorthair: 0.02
british longhair: 0.02
mainecoon: 0.02
selkirk rex: 0.02
siberian cat: 0.02

---

あと別件ですが、git はデータセットやモデルファイルなど容量が大きいバイナリファイルを管理するのには向いてないので、どこかのストレージにアップロードして、git で管理しないほうがいいと思います。

Comments

[entry4code]

ありがとうございます。
私の理解が不足しているところではありますが、具体的にはどのあたりで設定すればいいのでしょうか？

[tiitoi]

retrain.py によると、create_image_lists() でディレクトリ構造からクラス数を類推する仕組みになっているようですね。image_dir は30クラス分のサブフォルダを作って画像を分けてありますか？

[entry4code]

はい。以下のように分けてはいるのですが。。。

https://github.com/octocatz/tensorflow4cat/tree/staging/cat4cat/train/gakusyu_data_max

このように実行&結果返却されます。
. ./tensorflow/bin/activate && python3 ./train/label_image.py --image ./uploads/916a7af772785f7396c3a8c6b0e9b3af.jpg --graph ./train/retrained_graph_max.pb --labels ./train/retrained_labels_max.txt --input_layer=Placeholder && deactivate
2018-09-16 07:14:32.284349: I tensorflow/core/platform/cpu_feature_guard.cc:141] Your CPU supports instructions that this TensorFlow binary was not compiled to use: AVX2 FMA
abyssinian 0.12221127
american shorthair 0.087399244
egyptianmau 0.08331173
singapura cat 0.08298709
bengal 0.06471493

[tiitoi]

回答を追記しました。

[entry4code]

うまくいくようになりました。大変ありがとうございました！

[tiitoi]

動いたようでよかったです。
解決したようでしたら、質問は Close してください。