UnicodeDecodeError: 'utf-8' codec can't decode byte 0x8e in position 153: invalid start byte

Question

前提・実現したいこと

以下のサイトを参考に，TensorFlowを用いた画像判別装置を作っているのですが，
Anacondaのターミナルでretrain.pyを実行したところ，
タイトルのようなエラーメッセージが出ます．

参考サイト
https://asukiaaa.blogspot.com/2018/07/tensorflow.html
https://www.tensorflow.org/hub/tutorials/tf2_image_retraining

自分でも色々調べてはみたのですが，
解決策が思いつかなくなり質問させていただきました．

発生している問題

以前は最後まで回すことができていましたが，
2週間ほど前からUnicodeDecodeErrorが発生するようになりました．

問題の経緯は以下の通りです．

1.　プログラムが学習後にUnicodeDecodeErrorを出すようになる

2.　1.のエラーが出た後，pcをシャットダウンさせ，翌日再びプログラムを回したところ，学習前に同様のエラーが出るようになる

3.　pcをフォーマットしたところ，1.の状態に戻る

4.　数日間pcを起動させず，数日後に再び実行したところ，2.の状態になっており，現在に至る

エラーメッセージ

Traceback (most recent call last):
  File "retrain.py", line 1335, in <module>
    tf.app.run(main=main, argv=[sys.argv[0]] + unparsed)
  File "C:\Users\hl\anaconda3\envs\tensorflow\lib\site-packages\tensorflow\python\platform\app.py", line 40, in run
    _run(main=main, argv=argv, flags_parser=_parse_flags_tolerate_undef)
  File "C:\Users\hl\anaconda3\envs\tensorflow\lib\site-packages\absl\app.py", line 303, in run
    _run_main(main, args)
  File "C:\Users\hl\anaconda3\envs\tensorflow\lib\site-packages\absl\app.py", line 251, in _run_main
    sys.exit(main(argv))
  File "retrain.py", line 1019, in main
    module_spec = hub.load_module_spec(FLAGS.tfhub_module)
  File "C:\Users\hl\anaconda3\envs\tensorflow\lib\site-packages\tensorflow_hub\module.py", line 65, in load_module_spec
    return registry.loader(path)
  File "C:\Users\hl\anaconda3\envs\tensorflow\lib\site-packages\tensorflow_hub\registry.py", line 51, in __call__
    return impl(*args, **kwargs)
  File "C:\Users\hl\anaconda3\envs\tensorflow\lib\site-packages\tensorflow_hub\native_module.py", line 139, in __call__
    module_def_proto = self._get_module_def_proto(path)
  File "C:\Users\hl\anaconda3\envs\tensorflow\lib\site-packages\tensorflow_hub\native_module.py", line 130, in _get_module_def_proto
    module_def_proto.ParseFromString(f.read())
  File "C:\Users\hl\anaconda3\envs\tensorflow\lib\site-packages\tensorflow\python\lib\io\file_io.py", line 117, in read
    self._preread_check()
  File "C:\Users\hl\anaconda3\envs\tensorflow\lib\site-packages\tensorflow\python\lib\io\file_io.py", line 79, in _preread_check
    self._read_buf = _pywrap_file_io.BufferedInputStream(
UnicodeDecodeError: 'utf-8' codec can't decode byte 0x8e in position 153: invalid start byte

該当のソースコード

ソースコードは，

https://raw.githubusercontent.com/tensorflow/hub/52d5066e925d345fbd54ddf98b7cadf027b69d99/examples/image_retraining/retrain.py

からダウンロードしたものを一部書き換えました．
字数制限を超えるため，書き換えた箇所までのコードを載せます．

from __future__ import absolute_import
from __future__ import division
from __future__ import print_function

import argparse
import collections
from datetime import datetime
import hashlib
import os.path
import random
import re
import sys

import numpy as np
import tensorflow as tf
import tensorflow_hub as hub

import tensorflow._api.v2.compat.v1 as tf

試したこと

・Anacondaを再インストールしましたが，エラー内容は変わりませんでした．

・別のpcで同様の環境を構築しプログラムを回しましたが，そちらも回る時と回らない時があります．

補足情報（FW/ツールのバージョンなど）

Windows 10
Anaconda 4.10.1
python 3.8.8
TensorFlow 2.5.0

pcはこのプログラムのためだけに使用しているものです．

Answer 1

おはようございます。

問題文読ませていただきました。

ファイル(retrain.py)実行する際に、何かのファイルを読み込んでいる(引数にファイル名を渡して)と思うのですが、そのファイルの文字コードの認識違いにより、エラーが起きているようです。

retrain.pyのファイル読み込み箇所へ、以下の記事のように対処することは可能でしょうか？
・https://insilico-notebook.com/python-unicodedecodeerror/
・https://qiita.com/tonosamart/items/06047919121b82da6d0a

難しいならば、読み込みファイル自体をいい感じにする必要がありそうです。????‍♂️

<追記>
以下の手順にて実際に動きましたので、ご確認いただけますと幸いです。

1. ターミナルを開く。
2. cd desktopを実行。
3. `curl -LO http://download.tensorflow.org/example_images/flower_photos.tgz

tar xzf flower_photos.tgz`を実行

1. mkdir tensor-trainを実行
2. mv ./flower_photos ./tensor-trainを実行
3. cd tensor-trainを実行
4. touch retrain.pyを実行
5. retrain.pyファイルを開く。
6. こちらのリンクの内容を貼り付ける。(https://raw.githubusercontent.com/tensorflow/hub/52d5066e925d345fbd54ddf98b7cadf027b69d99/examples/image_retraining/retrain.py)
7. import tensorflow as tf → import tensorflow.compat.v1 as tfへ書き換える。
8. /tmp/ → ./tmp/へ書き換える。
9. pip install tensorflowを実行
10. pip install tensorflow_hubを実行
11. python retrain.py --image_dir flower_photosを実行すると、output_graph.pbファイルが生成されました。

<参考>
・https://asukiaaa.blogspot.com/2018/07/tensorflow.html
・https://raw.githubusercontent.com/tensorflow/hub/52d5066e925d345fbd54ddf98b7cadf027b69d99/examples/image_retraining/retrain.py
・https://qiita.com/titanium0715/items/7b52d817be2b97c14dab

Comments

[mus]

ご回答ありがとうございます。

教えていただいたリンクからエンコード指定を試しましたが、私自身pythonは初心者に近く、読み込みファイル名が分からない状態です。

エラー文から、file_io.pyの79行目で開いたファイルが文字コードの認識違いを起こしているという解釈で合っているでしょうか？

また、file_io.pyの74～80行目は以下のようになっているのですが、ファイル名やコードの追加箇所など、何か分かることはありますでしょうか？

def _preread_check(self):
if not self._read_buf:
if not self._read_check_passed:
raise errors.PermissionDeniedError(None, None,
"File isn't open for reading")
self._read_buf = _pywrap_file_io.BufferedInputStream(
compat.path_to_str(self.__name), 1024 * 512)

見当違いでしたら申し訳ありません。
よろしくお願いします。

[退会済みユーザー]

なるほど。

順番に問題確認していきましょう。

まず、
・どのようなコマンドを打って、ファイル実行してエラーが出たのか教えていただけますか？(python ファイル名 など)

[mus]

ありがとうございます。

anacondaに立てた仮想環境のターミナルで、
　　python retrain.py --image_dir flower_photos
を実行し、エラーが出ました。
（flower_photosは質問文に添付したURLからDLした学習データです）

[退会済みユーザー]

自分の環境で動くことを確認しました。
回答の方へ<追記>しましたので、ご確認ください。????‍♂️

[mus]

無事動かすことができました！
丁寧に教えていただき、大変ありがとうございます。

[退会済みユーザー]

お、ナイストライです。

いえいえ。

また困ったこととかありましたら、気軽にご相談ください。