Tensorflow object detection APIのgenerate_tf.record.pyでのエラー

Question

前提・実現したいこと

https://tensorflow-object-detection-api-tutorial.readthedocs.io/en/latest/training.html#training-the-model
を参考に物体検出のモデルを生成を目指しています。

発生している問題・エラーメッセージ

しかし、generate_tf.record.pyで

以下のエラーが出力されました。

Traceback (most recent call last):
  File "generate_tfrecord.py", line 62, in <module>
    label_map = label_map_util.load_labelmap(args.labels_path)
  File "C:\Users\rh731\anaconda3\lib\site-packages\object_detection\utils\label_map_util.py", line 168, in load_labelmap
    label_map_string = fid.read()
  File "C:\Users\rh731\anaconda3\lib\site-packages\tensorflow\python\lib\io\file_io.py", line 117, in read
    self._preread_check()
  File "C:\Users\rh731\anaconda3\lib\site-packages\tensorflow\python\lib\io\file_io.py", line 79, in _preread_check
    self._read_buf = _pywrap_file_io.BufferedInputStream(
UnicodeDecodeError: 'utf-8' codec can't decode byte 0x8e in position 138: invalid start byte

該当のソースコード

以下のfig.read()でエラーが発生ししていると思われます。

def create_tf_example(group, path):
    with tf.gfile.GFile(os.path.join(path, '{}'.format(group.filename)), 'rb') as fid:
        encoded_jpg = fid.read()
    encoded_jpg_io = io.BytesIO(encoded_jpg)
    image = Image.open(encoded_jpg_io)
    width, height = image.size

試したこと

・全てのファイルがutf8であることを確認しました。

補足情報（FW/ツールのバージョンなど）

以下のサイトを閲覧しました。
https://insilico-notebook.com/python-unicodedecodeerror/
https://qiita.com/niwaringo/items/d2a30e04e08da8eaa643
https://www.kumilog.net/entry/unicode-decode-error
https://github.com/tensorflow/models/issues/10035
https://github.com/tensorflow/tensorflow/issues/37950
###追記情報
generate_tfrecord.pyのargs.labels_mapの表示結果を追記しました。

C:\Users\rh731\PycharmProjects\TensorFlow\workspace\training_demo\annotations\label_map.pbtxt

新たなエラーが発生しました。

Traceback (most recent call last):
  File "generate_tfrecord.py", line 194, in <module>
    tf.app.run()
  File "C:\Users\rh731\anaconda3\lib\site-packages\tensorflow\python\platform\app.py", line 40,
in run
    _run(main=main, argv=argv, flags_parser=_parse_flags_tolerate_undef)
  File "C:\Users\rh731\anaconda3\lib\site-packages\absl\app.py", line 303, in run
    _run_main(main, args)
  File "C:\Users\rh731\anaconda3\lib\site-packages\absl\app.py", line 251, in _run_main
    sys.exit(main(argv))
  File "generate_tfrecord.py", line 184, in main
    tf_example = create_tf_example(group, path)
  File "generate_tfrecord.py", line 137, in create_tf_example
    encoded_jpg = fid.read()
  File "C:\Users\rh731\anaconda3\lib\site-packages\tensorflow\python\lib\io\file_io.py", line 11
7, in read
    self._preread_check()
  File "C:\Users\rh731\anaconda3\lib\site-packages\tensorflow\python\lib\io\file_io.py", line 79
, in _preread_check
    self._read_buf = _pywrap_file_io.BufferedInputStream(
UnicodeDecodeError: 'utf-8' codec can't decode byte 0x8e in position 147: invalid start byte

Comments

[8524ba23]

エラーメッセージより"label map"なるファイルの読込時に発生していると思われます。
これが具体的に（あなたの用意した？）どのファイルに該当するかは分かりますでしょうか？

[Saba3]

label_map.pbtxtだと思われます。
このファイルの中身は、
label.ptbtxの中身
item {
id: 1
name: 'Can'
}

item {
id: 2
name: 'Person'
}
item {
id: 3
name: 'Box'
}

item {
id: 4
name: 'Bottle'
}

となっています。

[8524ba23]

ファイルの中身はそれで全てでしょうか？
エラーからは138バイト目にデコードできない文字があるようです。
一般的にはshift-jisなど異なるエンコーディングのファイルで日本語などが含まれていると考えられます。

[ppaul]

generate_tfrecord.py の62行目の
label_map = label_map_util.load_labelmap(args.labels_path)
の前に
print(args.labels_path)
を挿入して実行し、何が表示されるかを質問に追記して下さい。

[Saba3]

質問に表示結果を追記させていただきました。
よろしくお願いいたします。

[jbpb0]

バイナリエディターを使えば、改行コードやUTF-8のBOM等のテキストエディターでは見えないデータも全て表示されるので、エラーメッセージの「position」の次の数値(byte)の位置のデータが何かを確認するのに便利ですよ

あと、ユーザー名や、ファイル名やファイルのパスに日本語が含まれてる場合に、そのようなエラーが出ることがあるようですが、質問文を見る限り、それには該当しなさそうですね

Answer 1

以下のサイトを参考にデータをColab上に移して実行したところ、tfrecordを生成でき
ました。色々とありがとうございました。

参考URL：https://towardsdatascience.com/creating-your-own-object-detector-ad69dda69c85

Answer 2

label_map.pbtxtは、116バイトで、改行を2バイトにしても134バイトです。最後に改行がなければ2バイト少ないかもしれません。
position 138に0x8eがあるというエラーメッセージからすると、見えない文字が後ろにあって、それが問題を起こしているように見えます。

エクスプローラーでlabel_map.pbtxtを右クリックしてプロパティを開きサイズを確認してください。
それが133以上であれば、以下を行ってください。

label_map.pbtxtを別フォルダにコピーする。(検証、確認用)
テキストエディタで、label_map.pbtxtを開き、中身を全部削除して以下をコピペする。

item {
id: 1
name: 'Can'
}

item {
id: 2
name: 'Person'
}
item {
id: 3
name: 'Box'
}

item {
id: 4
name: 'Bottle'
}

再度、エクスプローラーでlabel_map.pbtxtを右クリックしてプロパティを開きサイズを確認してください。
サイズが小さくなっていたら実行してみましょう。
これで動くかもしれません。

Comments

[Saba3]

実行させていただいたところ、pbtxtのファイルサイズは133以下になりました。
しかし、別のエラーが発生しました。

[ppaul]

サイズが133以下のファイルを読んで、147バイト目でエラーが起きているというのは不思議ですね。

[jbpb0]

Windowsのエクスプローラーで新規にテキストファイル(サイズ0)を作成して、それをテキストエディターで開いて、ppaulさんの回答からコピペして保存して、ファイル名を「label_map.pbtxt」に変えて使ってみても、ダメでしょうか？

現状エラーが出るファイルからのコピペだと、余計な何かも付いていくかもしれないので、この回答をWebブラウザからコピペする方がいいです