Python3 CSV読み込みの文字コードについて

Question

open()でCSVを読むときに必要であればencodingを1つ指定すると思いますが、読み込むファイルの文字コードがわからないため複数の文字コードに対応させたいです。

今のところは

import csv

try:
    with open(csv_file, "r", encoding="utf_8_sig"):
        pass
except UnicodeDecodeError:
    with open(csv_file, "r", encoding="shift_jis"):
        pass

のようにしているのですが、もっといい方法があれば教えてほしいです。

Answer 1

一旦バイナリで読んだあと、chardetを使ってエンコードを調べるのはどうでしょうか。
pip install chardetでインストールする必要がありますが、以下のようにすれば、自動でエンコードを判定して読み込むことができます。

import csv
import chardet
import io

# csv_file_name="test_utf8.csv"
csv_file_name="test_sjis.csv"

with open(csv_file_name, "rb") as csv_file:
    binary = csv_file.read()
    ret_dict = chardet.detect(binary) # 文字コードを判定
    print(ret_dict) # 判定した文字コードなどの情報を出力
    reader = csv.DictReader(io.StringIO(binary.decode(ret_dict['encoding']))) # 判定した文字コードでエンコード
    for line in reader:
        print(line)

実行結果

$ python read_csv_with_chardet.py 
{'encoding': 'SHIFT_JIS', 'confidence': 0.99, 'language': 'Japanese'}
{'カタカナ列': 'テスト', 'ひらがな列': 'てすと', '漢字列': '試験'}

Comments

[person]

回答ありがとうございます。
デフォルトのライブラリだけでは実現するのはやはり難しいというか、めんどくさいですね。
chardet試してみます。