UnicodeDecodeErrorとなってしまいます

Question

https://www.youtube.com/watch?v=xY2_4mX3YSE
上の方の動画を参考にして英単語アプリを作ろうとしています。

import re

source = 'englishword.txt'

with open(source) as file:
data = file.read()

print(data)

このようなコードを実行しようすると

Traceback (most recent call last):
File "C:\Users\ユーザー名\python_lesson\vocab.py", line 6, in <module>
data = file.read()
UnicodeDecodeError: 'cp932' codec can't decode byte 0xef in position 25: illegal multibyte sequence

解決策はありますでしょうか。よろしくお願いします。

Answer 1

動画はMac上の環境で解説をしていますが、お手元の環境はWindowsですよね。一方、読み込ませているテキストはUTF-8のように思えます。それをShift_JIS(CP932)を想定しているのでエラーになっているようです。
文字エンコーディングをUTF-8に指定する方法としては、以下の記事が参考になると思います。

WindowsでCP932(Shift-JIS)エンコード以外のファイルを開くのに苦労した話 - Qiita

あるいは、テキストファイルをShift_JISエンコーディングで保存し直すことでも動くようになると思います。

Answer 2

Windows上でPythonを使用している時にファイル読み込みでファイル読み込みのエンコーディングを指定しないと、デフォルトでCP932と呼ばれるWindows独自の文字コードで開こうとしてしまうケースがあります。

対象となるファイルがCP932の文字コードで保存されていれば、上記のようなエラーにはならないのですが、今回はそうでなかったので、上記のエラーが発生したものと思います。

なので、読み込みたいファイルのエンコーディングを指定してあげれば上記のエラーは発生しないはずです。

例えば、

with open(source ,encoding="utf-8") as file:
  data = file.read()

または、

with open(source ,encoding="utf-8_sig") as file:
  data = file.read()

など、エンコーディングを指定してファイルを開いてみてはいかがでしょうか？
上記でも上手く行かない場合は、まず、開きたいファイルの文字コードを調べ、encodingオプションにその文字コードを指定すればよいかと思います。

参考文献

• WindowsでCP932(Shift-JIS)エンコード以外のファイルを開くのに苦労した話 - Qiita
• Shift_JIS と Windows-31J (MS932) の違いを整理してみよう |