日本語のテキストファイル(utf-8)の読み込みでエラー

Question

Python3でUTF-8のテキストファイルを読み込むとエラーになってしまいます。
どのように解決すればよろしいでしょうか。

■ソース

# -*- coding: utf-8 -*-
f = open('test.txt', 'r')
text = f.read()

■エラーメッセージ
UnicodeDecodeErrorTraceback (most recent call last)
<ipython-input-11-3cbadba0130e> in <module>()
1 # -- coding: utf-8 --
2 f = open('test.txt', 'r')
----> 3 text = f.read()

~/anaconda3/lib/python3.6/encodings/ascii.py in decode(self, input, final)
24 class IncrementalDecoder(codecs.IncrementalDecoder):
25 def decode(self, input, final=False):
---> 26 return codecs.ascii_decode(input, self.errors)[0]
27
28 class StreamWriter(Codec,codecs.StreamWriter):

UnicodeDecodeError: 'ascii' codec can't decode byte 0xe3 in position 0: ordinal not in range(128)

■補足
pythonのデフォルトエンコーディングとファイルのエンコーディングを調べましたが、どちらもUTF-8でした。

import sys
print(sys.getdefaultencoding())

上記の実行結果
utf-8

$ nkf -g test.txt
UTF-8

test.txtの内容

あ
い

実行環境ですが、次のとおりです。
Python 3.6.3 |Anaconda custom (64-bit)
ubuntu 16.04.3 LTS (macにDockerを入れて使っています。)

他の開発環境では動いたので、環境の問題だと思っていますが、確認するところが分からず、お手上げです。

よろしくお願いします。

Answer 1

ロケールがCロケールになっているとsys.getdefaultencoding()はUTF-8になっているけれど、ファイルを開いた時のエンコーディングはascii、ということが起こります。
https://docs.oracle.com/cd/E26924_01/html/E27144/glmbx.html#glmar

% LC_ALL=C python -c 'import sys; print(sys.getdefaultencoding())'
utf-8
% LC_ALL=C python -c 'f = open("a.txt"); f.read()'
Traceback (most recent call last):
  File "<string>", line 1, in <module>
  File "/Users/k.yamaguchi/.pyenv/versions/3.6.1/lib/python3.6/encodings/ascii.py", line 26, in decode
    return codecs.ascii_decode(input, self.errors)[0]
UnicodeDecodeError: 'ascii' codec can't decode byte 0xe2 in position 7: ordinal not in range(128)

そもそもsys.getdefaultencoding()は"ファイルをオープンする時に使われるエンコーディング"という意味ではないのでこれを調べるだけでは足りないのです。locale.getpreferredencoding()も調べてみてください。

% LC_ALL=C python -c 'import locale; print(locale.getpreferredencoding())'
US-ASCII

http://docs.python.jp/3.6/library/sys.html#sys.getdefaultencoding
http://docs.python.jp/3.6/library/io.html#io.TextIOWrapper
http://docs.python.jp/3.6/library/locale.html#locale.getpreferredencoding

もしロケールの問題なら

• Pythonのコードでencodingを指定する(すでに回答が付いているとおり)
• Pythonのコードで事前にlocale.setlocaleする(私は実際にしたことはありませんが)
• ターミナルでPYTHONIOENCODINGをPYTHONIOENCODING=UTF-8などと指定する(標準入出力に対してのみ)
• ターミナルで事前にロケールを設定する

などで対処します。

Comments

[akihico]

詳細なご回答、ありがとうございます。
locale.getpreferredencoding()の出力結果は「ANSI_X3.4-1968」でした。
動作しなかった状況が理解できました。

今回は、色々な環境でこのプログラムを実行することを想定して、環境に手を入れるより、コードで対応することにします。

勉強になりました。

Answer 2

f = open( 'test.txt', 'r', encoding='utf-8')のようにエンコーディングを指定してファイルを開いてください。
参考：16.2.1.1. テキスト I/O

Comments

[akihico]

わずか、10分少々で的確なご回答をいただきまして、驚きました。
おかげさまで、プログラムは動きました。
ありがとうございます！