Python：バイトコードを文字列に変換

Question

Pythonのバイトコードの文字列を日本語文字列に変換したいです。

データベースにHBaseを利用しており、HBaseはデータを全てバイトコードとして格納してしまうので
値としてUTF-8の文字列で"テスト"を格納すると取得する時は"\xE3\x83\x86\xE3\x82\xB9\xE3\x83\x88"というバイトコードの文字列となってしまいます。
どのように元の文字列に変換したらよいでしょうか？
よろしくお願いします。

Answer 1

この方法はevalに抵抗がなければ、ですが。

# -*- coding: utf-8 -*-

def conv_hbase_str(s):
    return eval('b"{}"'.format(s)).decode()

s = '\\xE3\\x83\\x86\\xE3\\x82\\xB9\\xE3\\x83\\x88'
print(conv_hbase_str(s))

-- 追記
ast.literal_evalというのがあり、評価がリテラルに限られるのでこちらの方が多少安全なようです。

# -*- coding: utf-8 -*-                                                                                                      
from ast import literal_eval

def conv_hbase_str(s):
    return literal_eval('b"{}"'.format(s)).decode()

s = '\\xE3\\x83\\x86\\xE3\\x82\\xB9\\xE3\\x83\\x88'
print(conv_hbase_str(s))

Comments

[kuma3]

ありがとうございます。こんな簡単な方法でできるんですね！やっていることが難しくよく理解できませんがこの方法を使ってみようと思います。

[sharow]

一応ですが、「eval 危険」でググって概要を確認しておいてください。

evalはインタープリタ系の言語特有の機能で、「文字列の形で受け取った式」を評価します。

eval('print("hello")')

とすると、print("hello") と同じ結果になります。外部のユーザーからこの文字列を自由に設定できると脆弱性となります。このような理由によりevalを使う際には注意を要します(evalに抵抗がなければ、というのはこの意味でした)。

HBase(というよりHBaseのPythonドライバ？)が **必ず** bytesの顔をしたstrを返すなら危険性はないと思われます。が、HBaseのPythonドライバなどをアップデートした際には、この点が修正/変更されたりしていないか確認する必要があります。そのような心配をしたくない場合はargiusさんの方法が良いです。

[kuma3]

そんな危険があるんですね。詳しい説明ありがとうございます！
危険がないところで使おうと思います。

Answer 2

これがベストの方法かどうかあまり自信がないのですが、
binasciiモジュールのunhexlify()関数を使って16進数文字列をバイト列に変換することができます。
その場合、\\xはあらかじめ取り除かないといけません。

バイト列はデコード（decode()メソッド）で文字列に変換できます。

# -*- coding: utf-8 -*-

import binascii

s = "\\xE3\\x83\\x86\\xE3\\x82\\xB9\\xE3\\x83\\x88"
hexstr = s.replace("\\x", "") # E38386E382B9E38388
barr = binascii.unhexlify(hexstr) # b'\xe3\x83\x86\xe3\x82\xb9\xe3\x83\x88'
s2 = barr.decode("utf-8")
print(s2) # => テスト

Comments

[kuma3]

回答ありがとうございます。Pythonの文字の扱いに慣れていないので大変勉強になりました！