python sqlite3にてテキストカラムに入れてる文字を日本語で取得したい。

Question

sqliteに登録しているデータを取り出す際に、日本語で入力しているものがunicodeで出力されてしまいます。日本語で取得したいです。以下内容と結果です。
よろしくお長いします。

        import os.path,sqlite3
        
        dbfile ="test.sqlite"
        connect = sqlite3.connect(dbfile)
        cursor = connect.cursor()
        result = cursor.execute("select speek from pepad").fetchall()
        self.logger.info(result)

出力結果
[INFO ] behavior.box :onInput_onStart:25 _Behavior__lastUploadedChoregrapheBehavior945602960:/sqlite_4: [(u'\u3053\u3093\u306b\u3061\u306f\u3001\u79c1\u306f\u30da\u30c3\u30d1\u30fc\u3067\u3059',)

speek カラムはテキスト型でエンコード指定はutf-8です。
Firefoxのsqliteプラグインから中を見ると日本語で格納されます。

Answer 1

出力は本当に[INFO ] behavior.box :onInput_onStart:25 _Behavior__lastUploadedChoregrapheBehavior945602960:/sqlite_4: [(u'\u3053\u3093\u306b\u3061\u306f\u3001\u79c1\u306f\u30da\u30c3\u30d1\u30fc\u3067\u3059',)であっていますか?
(決して疑っているわけではありませんが、どうやったらこの出力になるかがわからないんです。。(^ ^;すみません。。)

一度試しにself.logger.info(result[0][0])とprint(result[0][0])を実行してその結果も載せていただけるとありがたいです。m(_ _)m

以下は出力が[INFO ] behavior.box :onInput_onStart:25 _Behavior__lastUploadedChoregrapheBehavior945602960:/sqlite_4: [("u'\u3053\u3093\u306b\u3061\u306f\u3001\u79c1\u306f\u30da\u30c3\u30d1\u30fc\u3067\u3059'",)]であったと仮定して書いています。(u'\の前と最後の'の後に"を入れて考えています。またこれはこちらの都合※なのですが、\uではなく\uとしています。)

※こちらの都合
print("u'\u3053\u3093\u306b\u3061\u306f\u3001\u79c1\u306f\u30da\u30c3\u30d1\u30fc\u3067\u3059'")の出力結果がu'\u3053\u3093\u306b\u3061\u306f\u3001\u79c1\u306f\u30da\u30c3\u30d1\u30fc\u3067\u3059'であるため、当初これを想定してコードを書きました。

import os.path,sqlite3

dbfile ="test.sqlite"
connect = sqlite3.connect(dbfile)
cursor = connect.cursor()
result = cursor.execute("select speek from pepad").fetchall()

# ↓追加してください。
result = result[0][0].replace("u","",1).replace("\'","")

jap_result = ""
for m in re.finditer("\\u....",result):
    jap_result += chr(int(m.group()[2:],16))
result = jap_result
# ↑追加してください。

self.logger.info(result)

ちょっと自信ないですけどこれでどうでしょうか?

挙げていただいたコードはclassの内部ですね?妙なインデントがありましたし、selfがありましたので。
見やすさのためにインデントは消しましたので、実際にコードに組み込む際は適切にインデントしてください。m(_ _)m

追記

出力回りは私も実は苦手なんですよね(なぜ回答したって感じですね苦笑)

そもそも日本語が出力できる環境ではないのではないでしょうか？
確認してみてください。m(_ _)m

• print("こんにちは、私はペッパーです")を実行してみる
• UnicodeEncodeErrorと言われたら下記URLにしたがい設定を確認してみる

Python 3で日本語をprintする際のUnicodeEncodeErrorはLANGに気をつける

一か八かですけど、

import codecs

byt = u'\u3053\u3093\u306b\u3061\u306f\u3001\u79c1\u306f\u30da\u30c3\u30d1\u30fc\u3067\u3059'.encode('utf-8')
jap_str = codecs.decode(byt,encoding='utf-8')

print(byt)
print(jap_str)

これがうまく行くかも試していただけると幸いです。
出力(print())に問題がある場合はこれもUnicodeEncodeErrorになるはずです。

色々とお願いしてすみません…m(_ _)m

Comments

[DASH]

namnium1125さん、回答ありがとうございます。
ご指摘いただいた点でためしてみたのですが、結果はエラー表示でした。
self.logger.info(result[0][0])の出力結果
[ERROR] behavior.box :_safeCallOfUserMethod:125 _Behavior__lastUploadedChoregrapheBehavior236002776:/sqlite_4: Traceback (most recent call last): File "/opt/aldebaran/lib/python2.7/site-packages/albehavior.py", line 115, in _safeCallOfUserMethod func() File "<string>", line 24, in onInput_onStart File "/usr/lib/python2.7/logging/__init__.py", line 1150, in info self._log(INFO, msg, args, **kwargs) File "/usr/lib/python2.7/logging/__init__.py", line 1269, in _log self.handle(record) File "/usr/lib/python2.7/logging/__init__.py", line 1279, in handle self.callHandlers(record) File "/usr/lib/python2.7/logging/__init__.py", line 1319, in callHandlers hdlr.handle(record) File "/usr/lib/python2.7/logging/__init__.py", line 749, in handle self.emit(record) File "/opt/aldebaran/lib/python2.7/site-packages/albehavior.py", line 155, in emit record.lineno) TypeError: in method 'info', argument 1 of type 'std::string const &'

print(result[0][0])の出力結果
[ERROR] behavior.box :_safeCallOfUserMethod:125 _Behavior__lastUploadedChoregrapheBehavior840952416:/sqlite_4: Traceback (most recent call last): File "/opt/aldebaran/lib/python2.7/site-packages/albehavior.py", line 115, in _safeCallOfUserMethod func() File "<string>", line 25, in onInput_onStart File "<string>", line 4, in write UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-13: ordinal not in range(128)

追加コードによる出力結果
[ERROR] behavior.box :createPythonModule:0 _Behavior__lastUploadedChoregrapheBehavior266462152:/sqlite_4: User class evaluation failed with the error: <type 'exceptions.IndentationError'> ('expected an indented block', ('<string>', 29, 18, ' jap_result += chr(int(m.group()[2:],16))\n'))
```python
class MyClass(GeneratedClass):
def __init__(self):
GeneratedClass.__init__(self)

def onLoad(self):
#put initialization code here
pass

def onUnload(self):
#put clean-up code here
pass

def onInput_onStart(self):
#self.onStopped() #activate the output of the box
import os.path,sqlite3

dbfile = "test.sqlite"
connect = sqlite3.connect(dbfile)
cursor = connect.cursor()
result = cursor.execute("select speek from pepad").fetchall()

# ↓追加してください。
result = result[0][0].replace("u","",1).replace("\'","")
jap_result = ""
for m in re.finditer("\\u....",result):
jap_result += chr(int(m.group()[2:],16))
result = jap_result
# ↑追加してください。

self.logger.info(result)

connect.close()

def onInput_onStop(self):
self.onUnload() #it is recommended to reuse the clean-up as the box is stopped
self.onStopped() #activate the output of the box
```
インデントは問題ないと思います。上記は無くなってますが…

[DASH]

↓result = cursor.execute("select * from pepad").fetchall()にした場合の出力結果です。

[INFO ] behavior.box :onInput_onStart:33 _Behavior__lastUploadedChoregrapheBehavior1577031656:/sqlite_4: [(1, u'\u3053\u3093\u306b\u3061\u306f\u3001\u79c1\u306f\u30da\u30c3\u30d1\u30fc\u3067\u3059', 1, u'test.jpg', u'2017/09/01~2017/09/30', u'2017/09/28 14:00:00'), (2, u'\u3053\u3093\u306b\u3061\u306f\u3001\u79c1\u306f\u30da\u30c3\u30d1\u30fc\u3067\u3059', 2, u'test2.jpg', u'2017/09/01~2017/09/30', u'2017/09/28 14:00:00')]

[namnium1125]

出力の設定関連の問題な気がしてきました。

追記したURLにアクセスして、設定してみてください。m(_ _)m

[DASH]

print("こんにちは、私はペッパーです")の結果です。
[INFO ] python :catchlog_logout:0 こんにちは、私はペッパーです

一か八かの方はエラーになりました。
[ERROR] behavior.box :_safeCallOfUserMethod:125 _Behavior__lastUploadedChoregrapheBehavior416307536:/sqlite_4: Traceback (most recent call last): File "/opt/aldebaran/lib/python2.7/site-packages/albehavior.py", line 115, in _safeCallOfUserMethod func() File "<string>", line 30, in onInput_onStart TypeError: decode() takes no keyword arguments

[namnium1125]

`decode()`の方ですが、`encoding='utf-8'`の引数を消して再度試していただけないでしょうか？よろしくお願いします。

[DASH]

いろいろありがとうございます。下記で日本語表示できました。
self.logger.info(str(result[0][1].encode('utf_8')))
[INFO ] behavior.box :onInput_onStart:26 _Behavior__lastUploadedChoregrapheBehavior1299463720:/sqlite_4: こんにちは、私はペッパーです

[namnium1125]

やっぱり一度byte型にしてもう一度unicode型にすれば解決しましたか！

無事解決して何よりです(^ ^)