sqlite3のデータをpandasで読み込めない

Question

お世話になります。

以下を実行した所、utf-8でデコードできないというエラーメッセージが出ました。

import pandas as pd
import sqlite3

conn = sqlite3.connect('sample_sqlite3.dat')
df = pd.read_sql_query('SELECT * FROM tablename', conn)

エラーメッセージ

OperationalError: Could not decode to UTF-8 column 'sample_data' with text '64 �r�b�g'

色々調べていますが、どのようにすればshift-jisで問題なく読み込めるようになりますか。
教えて下さい。

Answer 1

コネクションにtext_factoryをセットして、SJISでデコードするようにすればできると思います。

import pandas as pd
import sqlite3

conn = sqlite3.connect('sample_sqlite3.dat')
conn.text_factory = lambda x: x.decode('sjis')
df = pd.read_sql_query('SELECT * FROM tablename', conn)

参考：https://docs.python.org/ja/3/library/sqlite3.html#sqlite3.Connection.text_factory

ただし、できるなら、データベースに保存する文字コードをUTF-8にすることをおすすめします。

Comments

[ggg3]

ありがとうございました！