MySQLから取得したデータが文字化けをおこしてしまい、encode("utf-8")などしているのですが、解決しなく困っております。

Question

※ Python 2.7.5で作成
※ MAC OSX
※ DBはローカル環境でかつ、同じクライアントで使用

MySQLから取得したデータを返すプログラムを作成しております。

その際に、日本語が入ったデータがあり、その際に文字化けが起こってしまい困っております。

unicodeからutf-8に変換しなくてはいけないということまでは理解しているのですが、
以下のように実装しましたが、上手く行きませんでした。

尚、 print で出力した場合のみ日本語として出力されますが、今回やりたい要件には満たさないため、他の方法を探っております。

teratailでも同様な質問と、その回答がありましたが、回答がprintによるものでしたので、質問させて頂きました。
https://teratail.com/questions/13085

また、今回の要件上、Pythonは3系は使えません。

# -*- coding: utf-8 -*- 
import MySQLdb
connect = MySQLdb.connect(db="user", user="root", charset='utf8')
connect.cursorclass = MySQLdb.cursors.DictCursor
cursor = connect.cursor()
cursor.execute('SELECT * FROM users')
user = cursor.fetchone()

print user["name"]
# => 田中太郎(utf-8になっている)

return user
# => {id: 1,name: "文字化けが起きている", category_id: 2}

user["name"] = user["name"].encode("utf-8")

return user
# => 同様に文字化けが起きる

アドバイスを頂けますと幸いです。
よろしくお願いします。

追記

lightsonlightson様の修正依頼に対して追記致します。

文字化けは、どのような文字列なのか追記してもらえますか？

user["name"]
=> ほげほげ

と期待しているのが

user["name"]
=> \xe3\x81\xbb\xe3\x81\x92\xe3\x81\xbb\xe3\x81\x92

となってしまいます。

MySQLの文字列は/etc/my.cnfでutf-8になっているでしょうか？

こちらmy.cnfはutf-8なのと、以下のようにutf-8になっている？かと思います。

mysql> show variables like 'char%';
+--------------------------+------------------------------------------------------+
| Variable_name | Value |
+--------------------------+------------------------------------------------------+
| character_set_client | utf8 |
| character_set_connection | utf8 |
| character_set_database | utf8 |
| character_set_filesystem | binary |
| character_set_results | utf8 |
| character_set_server | utf8 |
| character_set_system | utf8 |
| character_sets_dir | /usr/local/Cellar/mysql/5.6.16/share/mysql/charsets/ |
+--------------------------+------------------------------------------------------+

Comments

[lightson]

MySQLを動かしているサーバのOS の種類を教えてもらえますか。また、上のpythonスクリプトは、MySQLと同じマシン上で動かしているでしょうか？　別のクライアントなら、そのOSも知りたいです。

[qaz3330]

MySQLを動かしているサーバのOSは、MAC OSXです。また、pythonスクリプトは、MySQLと同じマシン上で動かしております。　別のクライアントではありません。

[qaz3330]

開発中のため、ローカル環境のDBにアクセスしております。

[lightson]

https://teratail.com/questions/13085
の問題は文字化けではなく、オブジェクトの中の値がユニコードということです。qaz3330 さんの文字化けは、どのような文字列なのか追記してもらえますか？
それとMySQLの文字列は/etc/my.cnfでutf-8になっているでしょうか？

[qaz3330]

修正依頼に対する回答を質問本文に記載しました。お手数では御座いますが、ご確認頂けますと幸いです。

[Mr_Roboto]

質問をよく読むとリターンの先で化けるわけですね
どこにリターンしているのかも必要な情報だと思われますよ。

[lightson]

macでやってみました。以下のようになって文字化けは起きていないと思います。文字化けはどこで発生しているのでしょうか？
>>> u'ほげほげ'
u'\u307b\u3052\u307b\u3052'
>>> u'ほげほげ'.encode('utf-8')
'\xe3\x81\xbb\xe3\x81\x92\xe3\x81\xbb\xe3\x81\x92'
>>> print u'ほげほげ'.encode('utf-8')
ほげほげ
>>> u'ほげほげ'.encode('utf-8').decode('utf-8')
u'\u307b\u3052\u307b\u3052'

[qaz3330]

文字化けという表現は正しくなかったです。
utf-8の文字コード?で出力されているかもしれませんが、
pythonのCLIでprintとせずにu'ほげほげ'.encode('utf-8')とした際に
日本語で出力してほしく、質問しました。

そのため、文字化けというよりかは日本語で出力してほしいという意味です。

\xe3\x81\xbb\xe3\x81\x92\xe3\x81\xbb\xe3\x81\x92

Answer 1

やりたいことは、MySQLとは無関係で、下の手順で
bと打ったら 'ほげほげ' と表示したいということだと理解しました。

python3ならunicodeにデコードすることにより可能ですが、python2では無理な気がします。
上の例ではuser["name"] には正しい文字が入っているので、デバッグのためならprintすればいいし、最後には人間が見るためにどこかでprintするのですから、特に困らないのではないかと思います。

python2
>>> a=u"ほげほげ"
>>> a
u'\u307b\u3052\u307b\u3052'
>>> b = a.encode("utf8")
>>> b
'\xe3\x81\xbb\xe3\x81\x92\xe3\x81\xbb\xe3\x81\x92'


python3
>>> a="ほげほげ"
>>> a
'ほげほげ'
>>> b=a.encode("utf8")
>>> b
b'\xe3\x81\xbb\xe3\x81\x92\xe3\x81\xbb\xe3\x81\x92'
>>> b.decode("utf8")
'ほげほげ'

Answer 2

質問のリンク先の回答に書いてありますが、先頭に

# -*- coding: utf-8 -*- 

を入れるというのをやってみましたか？
多分これで直るのではないかと思いますが。

はずしていたらすいません。

Comments

[qaz3330]

ご回答ありがとうございます。質問文内に、記述しておりませんでしたが、coding: utf-8は先頭に入れております。しかし直りませんでした。

[Mr_Roboto]

では、質問を編集しておいてくださいね ^^
関係あると思われる情報は省略しないほうがいいと思いますよ。

[qaz3330]

そうですね。関係あると思われる情報は省略しないほうがいいですね。指摘ありがとうございます。