keras-yolo3、文字コードに関するエラーを解決したい

Question

前提・実現したいこと

こちらの記事(https://farml1.com/snackpea_2/)を参考にkeras-yolo3のオリジナルモデルを作成したいと考えております。

voc_annotation.pyを実行すると以下に示したエラーメッセージが表示されました。
この時keras-yolo3-masterフォルダを確認すると『2007_train.txt』のテキストファイルのみが生成されており、テキストファイルには学習データのファイルパスが一行だけ記述されていました。

こちらの質問(https://teratail.com/questions/292256)への回答を参考にエラーの解消を試みましたが、同様のエラーメッセージが繰り返し表示されるため、未だ解決できておりません。

発生している問題・エラーメッセージ

Traceback (most recent call last):
  File "voc_annotation.py", line 31, in <module>
    convert_annotation(year, image_id, list_file)
  File "voc_annotation.py", line 11, in convert_annotation
    tree=ET.parse(in_file)
  File "C:\Users\anaconda3\envs\yolo_v3\lib\xml\etree\ElementTree.py", line 1197, in parse
    tree.parse(source, parser)
  File "C:\Users\anaconda3\envs\yolo_v3\lib\xml\etree\ElementTree.py", line 598, in parse
    self._root = parser._parse_whole(source)
UnicodeDecodeError: 'cp932' codec can't decode byte 0x97 in position 25: illegal multibyte sequence

該当のソースコード

import xml.etree.ElementTree as ET
from os import getcwd

sets=[('2007', 'train'), ('2007', 'val'), ('2007', 'test')]

classes = ["item"]


def convert_annotation(year, image_id, list_file):
    in_file = open('VOCdevkit/VOC%s/Annotations/%s.xml'%(year, image_id), encoding='utf-8')
    tree=ET.parse(in_file)
    root = tree.getroot()

    for obj in root.iter('object'):
        difficult = obj.find('difficult').text
        cls = obj.find('name').text
        if cls not in classes or int(difficult)==1:
            continue
        cls_id = classes.index(cls)
        xmlbox = obj.find('bndbox')
        b = (int(xmlbox.find('xmin').text), int(xmlbox.find('ymin').text), int(xmlbox.find('xmax').text), int(xmlbox.find('ymax').text))
        list_file.write(" " + ",".join([str(a) for a in b]) + ',' + str(cls_id))

wd = getcwd()

for year, image_set in sets:
    image_ids = open('VOCdevkit/VOC%s/ImageSets/Main/%s.txt'%(year, image_set)).read().strip().split()
    list_file = open('%s_%s.txt'%(year, image_set), 'w')
    for image_id in image_ids:
        list_file.write('%s/VOCdevkit/VOC%s/JPEGImages/%s.jpg'%(wd, year, image_id))
        convert_annotation(year, image_id, list_file)
        list_file.write('\n')
    list_file.close()

Comments

[退会済みユーザー]

https://qiita.com/methane/items/9a19ddf615089b071e71
にあるやり方で強制的に環境変数側で「PYTHONUTF8=1」としてUTF-8に固定して試してもらえますか？

あとは、アノテーション画像や教師データのパスに日本語（半角英数以外）がないか確認ください。

[haysta]

アドバイスいただいたように、教師データのパスを確認すると半角カタカナが紛れており、これが原因だったようでした。ありがとうございました。

Answer 1

UnicodeDecodeError: 'cp932' codec can't decode byte 0x97 in position 25: illegal multibyte sequence

というエラーメッセージと

    in_file = open('VOCdevkit/VOC%s/Annotations/%s.xml'%(year, image_id), encoding='utf-8')
    tree=ET.parse(in_file)

というソースコードが整合していません。別のソースコードが動いている可能性もあります。

in_fileのencodingを確認するために上記の部分を以下に書き換えて実行してみてください。

    in_file = open('VOCdevkit/VOC%s/Annotations/%s.xml'%(year, image_id), encoding='utf-8')
    print('encoding is', in_file.encoding)
    tree=ET.parse(in_file)

これで実行してencoding is cp932が表示されるかどうかをご確認ください。
もし表示されないようでしたら、そのソースコードを正しく指定しているかご確認ください。

Comments

[haysta]

教えていただいたコードに書き換えて実行したところ、encoding is utf-8 と表示されました。

ほかの方からご指摘があったように、教師データのパスを確認したところ半角カタカナが紛れ込んでおり、ここを修正することでエラーを解消できました。
ご回答いただきありがとうございました。