unicodedecodeerror

Question

###前提・実現したいこと
pythonでファイルを読み込もうとする際にunicodedecodeerrorが生じるのですが解決方法がわかりません

###発生している問題・エラーメッセージ

Comments

[can110]

エラー発生時に読み込んだテキストファイルのエンコーディング(UTF-8/Shift-JIS/euc-jpなど)は分かりますか？

[fujiji]

ほとんどのファイルはutf-8で文字コードをチェックしたらNoneとwindows-1254というのが１つずつありました

Answer 1

テキストファイルのエンコーディング(windows-1254など)と読込時に指定したエンコーディング(utf-8)が異なることが原因で提示エラーが発生しています。
解決方法としては以下が考えられますが、どれを採るかはエラーファイルをどのように扱いたいかによります。

1. デコードできない文字は無視して読み込む
2. デコード例外を捕捉して処理を飛ばす
3. エンコーディングを判定したうえで、正しいエンコーディングを指定して読み込む（動作は未検証）

参考：Pythonにおけるエンコーディング判定

# 方法１ : デコードできない文字は無視して読み込む
with open( 'hoge.txt', 'r', encoding='utf-8', errors='ignore') as f:
    print('[' + f.read() + ']')

# 方法２ : デコード例外を捕捉して処理を飛ばす
try:
    with open( 'hoge.txt', 'r', encoding='utf-8') as f:
        print('[' + f.read() + ']')
except UnicodeDecodeError:
    print('UnicodeDecodeError!')
    # このファイルは飛ばすなどの処理