TensorFlow Object Detection APIの導入が上手くいかない

Question

目的

環境
anaconda3
python 3.6.12
tensorflow 2.3.0
windows10

TensorFlow Object Detection APIの環境を整え自分で学習をさせたいと思ってこちらの記事を参考に環境構築をして

python object_detection/builders/model_builder_test.py

を実行したところ下のエラーが出てしまった。一度無視して自作データでの学習を試みたところ、ここと同じエラーが出てしまったため解決したい。

2020-10-04 00:26:34.565016: W tensorflow/stream_executor/platform/default/dso_loader.cc:59] Could not load dynamic library 'cudart64_101.dll'; dlerror: cudart64_101.dll not found
2020-10-04 00:26:34.571395: I tensorflow/stream_executor/cuda/cudart_stub.cc:29] Ignore above cudart dlerror if you do not have a GPU set up on your machine.

###試したこと
pythonやTensorflowのバージョンを変えたり再インストールも試みたが変化はエラーの出る行の違いくらいで無くなることはなかった。参考にしたサイトを見ると21行目のエラーはパス指定が上手くいっていない時のようであるが何度書き直してもうまくいかなかった。

###自作データの学習を試みたところ
いったんこのエラーを無視しこちらのサイトのように進めたところ上記と似たようなエラーが発生してしまい学習が始まらなかった。

C:\Users\USER\AnacondaProjects\models-master\research>python object_detection/model_main.py --pipeline_config_path="object_detection/ssd_mobilenet_v3_large_coco/pipeline.config" --model_dir="./object_detection/test0001/save"   --alsologtostderr
2020-09-26 05:41:09.228115: W tensorflow/stream_executor/platform/default/dso_loader.cc:59] Could not load dynamic library 'cudart64_101.dll'; dlerror: cudart64_101.dll not found
2020-09-26 05:41:09.233337: I tensorflow/stream_executor/cuda/cudart_stub.cc:29] Ignore above cudart dlerror if you do not have a GPU set up on your machine.
Traceback (most recent call last):
  File "object_detection/model_main.py", line 25, in <module>
    from object_detection import model_lib
  File "C:\Users\USER\AnacondaProjects\models-master\research\object_detection\model_lib.py", line 30, in <module>
    from object_detection import exporter as exporter_lib
  File "C:\Users\USER\AnacondaProjects\models-master\research\object_detection\exporter.py", line 24, in <module>
    from object_detection.builders import model_builder
  File "C:\Users\USER\AnacondaProjects\models-master\research\object_detection\builders\model_builder.py", line 24, in <module>
    from object_detection.builders import image_resizer_builder
  File "C:\Users\USER\AnacondaProjects\models-master\research\object_detection\builders\image_resizer_builder.py", line 19, in <module>
    from object_detection.core import preprocessor
  File "C:\Users\USER\AnacondaProjects\models-master\research\object_detection\core\preprocessor.py", line 82, in <module>
    from object_detection.core import densepose_ops
  File "C:\Users\USER\AnacondaProjects\models-master\research\object_detection\core\densepose_ops.py", line 30, in <module>
    import scipy.io
ModuleNotFoundError: No module named 'scipy'

なかなか解決できずしんどくなってしまったためどのような助言もお待ちしております。
よろしくお願いいたします。

Comments

[meg_]

OSはWindowsですか？（バージョンは？）

[tukim]

すみません！windows10です！修正しました。

Answer 1

pip install tf-models-official

と入力したらどうなりますか？
私もあなたとほとんど同じようなエラーが出ました。（下のエラー）
先頭のコードを入力したところ、Tracebackから下のエラーは消えました。
あなたはTracebackより上のエラーがないようなので、もしかしたらうまくいくかもしれないです。
自分もうまくいかないので、適切な回答を送れずすいません。
もし先頭のコードでうまくできたら教えてください。

2020-10-02 21:13:05.147373: W tensorflow/stream_executor/platform/default/dso_loader.cc:59] Could not load dynamic library 'cudart64_101.dll'; dlerror: cudart64_101.dll not found
2020-10-02 21:13:05.150218: I tensorflow/stream_executor/cuda/cudart_stub.cc:29] Ignore above cudart dlerror if you do not have a GPU set up on your machine.
Traceback (most recent call last):
  File "C:\Users\pseadmin\AnacondaProjects\models-master\research\object_detection\builders\model_builder_test.py", line 21, in <module>
    from object_detection.builders import model_builder
  File "C:\Users\pseadmin\AnacondaProjects\models-master\research\object_detection\builders\model_builder.py", line 66, in <module>
    from object_detection.models import ssd_efficientnet_bifpn_feature_extractor as ssd_efficientnet_bifpn
  File "C:\Users\pseadmin\AnacondaProjects\models-master\research\object_detection\models\ssd_efficientnet_bifpn_feature_extractor.py", line 33, in <module>
    from official.vision.image_classification.efficientnet import efficientnet_model
ModuleNotFoundError: No module named 'official'

Comments

[tukim]

回答ありがとうございます。
じぶんもTracebackの上は同じように出ており、instollしたところまったく同じように残って他はなくなりました。
2020-10-04 00:26:34.565016: W tensorflow/stream_executor/platform/default/dso_loader.cc:59] Could not load dynamic library 'cudart64_101.dll'; dlerror: cudart64_101.dll not found
2020-10-04 00:26:34.571395: I tensorflow/stream_executor/cuda/cudart_stub.cc:29] Ignore above cudart dlerror if you do not have a GPU set up on your machine.

[tukim]

tensorflowのバージョンを1.14.0に下げ
python object_detection/builders/model_builder_tf1_test.py
でテストしたところエラーが出ずに実行できました！
ありがとうございます！

[haa]

私も同じようにやったところうまく実行できました。
ありがとうございます！
ただ、jupyter notebookでobject_detection_tutorial.ipynbを実行したところうまくできませんでした。
tukimさんと同じところ（最後から2番目のところ）でエラーが出てしまいました。
tukimさんはobject_detection_tutorial.ipynbもうまく実行できましたか？

[tukim]

おなじようにエラーが出ています。。
調べたところhttps://github.com/tensorflow/models/issues/9121
こちらが同じエラーのイシューのようですが解決がされていないようなのであきらめてしまいました。。。

[haa]

そうですか。。。
分かりました。いろいろ教えていただきありがとうございました！

[tukim]

いえいえ！こちらこそとても助かりました！
また、いろいろ試したところtensorflowのバージョンは下げなくても実行できたので実行分の問題のようでした。

Answer 2

リンク先には下記の記述がありますが、実施されていますか？
ModuleNotFoundError: No module named 'official'が出るのはパスの問題ではありませんか？

④PYTHONPATHの設定

＜最重要＞
環境変数の設定からPYTHONPATHを通します。Windows10の環境下では、PCのプロパティから、画面左側のシステムの詳細設定に入ります。画面右下の環境変数をクリックすると、環境変数の設定画面に入ります。画面が二段に分かれていますが、上部のユーザ環境変数で新規をクリックします。変数名および変数値は以下のとおりです。
変数名：PYTHONPATH
変数値：～\models-master\research;～\models-master\research\slim
変数値にはmodels-master内のresearchと、さらにその中のslimの二ヵ所に設定します。
私の環境下では、変数値には以下のように入力しています。C:\Users\xlab_01\AnacondaProjects\models-master\research;C:\Users\xlab_01\AnacondaProjects\models-master\research\slim
環境変数を設定したら、パソコンを一度再起動してください。

以上が、事前準備になります。

特に、PYTHONPATHの設定ができていないと、後のObject Detection APIの動作確認でエラーが出てしまいます。後の作業でエラーが出てしまったら、ここに戻って確認してみてください。

【追記】
変数名はPYTHONPATHになっていますか？
PCは再起動しましたか？

Comments

[tukim]

質問ありがとうございます！
質問の中の画像のようにパスを指定しています。
再起動もしました。

[meg_]

試しに当方の環境でやってみたところ「ModuleNotFoundError: No module named 'official'」のエラーは出なかったです。
「ModuleNotFoundError: No module named 'scipy'」については当方でも出ましたので、別途モジュールをインストールしました。

[meg_]

補足：リンク先のコメント欄にtensorflow2系では上手くいかないような記述があったので、tensorflow1.15でやってみたところ別のエラー（ModuleNotFoundError: No module named 'tf_slim'）が出たので地道にソースを直していったところエラーは失くせました。が、正しく動作するかまでは試していません。

[tukim]

ありがとうございます！
自分でも様々なバージョンで試したところ別のエラーが発生していました。
それを個別に直していくのが良いのですね。
地道にソースを直すと言うのは具体的にはどのように書き換えれば良いのでしょうか。tf_slimの場合で教えて頂いてもよろしいでしょうか？

[meg_]

・「ModuleNotFoundError: No module named 'official'」は解決したんですか？
・私の場合は「ModuleNotFoundError: No module named 'tf_slim'」のエラーが出ましたが、そちらでも同じエラーが出たのですか？環境やエラーによって対処方法は変わります。

> それを個別に直していくのが良いのですね。
本来は参考サイトの環境に合わせたいのですが、個別のバージョン記載がないようなので適当にやりました。ちなみにサイトと同じ「object_detection_tutorial.ipynb」が見つからずobject_detectionは実行出来ませんでした。

[tukim]

・「ModuleNotFoundError: No module named 'official'」は解決しておりません。解決方法が分からなく「ModuleNotFoundError: No module named 'tf_slim'」での解決法が参考になるのかと思い聞いてみました。

「object_detection_tutorial.ipynb」はC:\Users\USER\AnacondaProjects\models-master\research\object_detection¥colab_tutorials　　の中にあり実行しましたが最後の二行あたりでこちら（https://github.com/tensorflow/models/issues/9121）と同じエラーがでてしまいました。
解決はしていないようです。

[meg_]

No module named 'official'の方はPCの環境変数の設定の問題で、No module named 'tf_slim'の方はtensorflowのバージョンの問題でしょうね。

環境変数については当方の環境(Windows8)では参考サイトの通りで問題なく出来ましたので、もう一度手順を見直してみると良いかもしれません。

[meg_]

No module named 'tf_slim'エラーについては、下記を参考にしました。
※コードの修正は自己責任でお願いします。
https://qiita.com/shngt/items/38f347369b4a42a477bf

[tukim]

ありがとうございます。
officialはインストールしたところ無くなりました。
tf_slimも確認してみます。