Unicodeエスケープされた文字列を変換する

Question

前提・実現したいこと

Pythonと正規表現を用いて、Unicodeエスケープされた文字列を変換したいのですが、
下記に示す通り、対象文字列にUnicodeエスケープを示す "\u" のプレフィックスがありません。

内容

変換前文字列 = '\X2\3010914D7BA1301151B75A92914D7BA1\X0\ (b)15.9\X2\03C600D7\X0\9.5\X2\03C6\X0\'

このうち、"\X2" と "\X0" で囲まれたUnicodeエスケープされた（と思われる）文字列を変換する。

変換後文字列 = "【配管】冷媒配管 (b)15.9φ×9.5φ"

現在は、下記のように "\X2" と "\X0" で囲まれた文字列を見つけ、4文字ずつ切り出して、
"\u" のプレフィックスを付与した上で、変換しています。

# \X2\〜\X0\で囲まれた文字列　→ UNICODE変換対象
word_X2_X0 = '3010914D7BA1301151B75A92914D7BA1'
unicode = '\\u' + '\\u'.join(str(n) for n in re.split('(....)', word_split_unicode)[1::2])
word_decode = unicode.encode().decode('unicode-escape')

stack overflowで、スマートに解決されている下記のコード例を見つけたのですが、
言語がRubyで、Pythonでの実装方法が分かりませんでした。
（下記、少し質問用に修正しています）

ESCAPE_SEQUENCE_EXPR = /\\X2\\(.*)\\X0\\/

def decode_ifc(str)
  str.gsub(ESCAPE_SEQUENCE_EXPR) do
    $1.gsub(/..../) { $&.to_i(16).chr(Encoding::UTF_8) }    
  end
end

str =  '\X2\3010914D7BA1301151B75A92914D7BA1\X0\ (b)15.9\X2\03C600D7\X0\9.5\X2\03C6\X0\\'
puts "Input:", str
puts "Output:", decode_ifc(str)

【実行結果】
Input:
\X2\3010914D7BA1301151B75A92914D7BA1\X0\ (b)15.9\X2\03C600D7\X0\9.5\X2\03C6\X0\
Output:
【配管】冷媒配管 (b)15.9φ×9.5φ

特に、to_i(16).chr(Encoding::UTF_8) あたりのPythonでの対応方法が分かりません。
ご教授頂ければ、幸いです。

Answer 1

re.subはマッチした部分に対して任意の関数を呼ぶことができます。
この関数内で、抽出した部分をbyte列に変換し、それを'utf-16be'として解釈して文字列化します。
なお、以下コードにて文字列に[:-1]しているのは、今回の問題では本質ではないので説明は省きます。
（Python raw strings and trailing backslash [duplicate]に記載されています）

追記

X2にくわえ顔文字などX4にも対応させました。
参考：
How to decoding IFC using Ruby
STEP-file, ISO 10303-21
6.4.3.3 Encoding ISO 10646 characters within a string

import re

def func2(x):
    b = bytes.fromhex(x.group(1))
    return b.decode('utf-16be')

def func4(x):
    # 7文字毎の先頭に"0"を付加
    #
    # https://www.steptools.com/stds/step/IS_final_p21e3.html
    # 6.4.3.3 Encoding ISO 10646 characters within a string
    #-----
    # NOTE This use of eight hexadecimal characters in the "\X4\" encoding predates the restriction of the UCS codespace to a maximum value of 10FFFF.
    # The first two characters in each eight character group will always be digit zero.
    #-----
    s = x.group(1)
    s = ''.join(['0'+s[i:i+7] for i in range(0,len(s),7)])

    b = bytes.fromhex(s)
    return b.decode('utf-32be')

def decode_ifc_str(s):
    EXPR2 = r'\\X2\\(.*?)\\X0\\='[:-1]
    EXPR4 = r'\\X4\\(.*?)\\X0\\='[:-1]
    for expr, func in [(EXPR2, func2), (EXPR4, func4)]:
        s = re.sub(expr, func, s)
    return s

lst = [
    r'abc=',
    r'\X2\3010914D7BA1301151B75A92914D7BA1\X0\ (b)15.9\X2\03C600D7\X0\9.5\X2\03C6\X0\=',
    r'\X2\03B103B203B3\X0\=',    # ギリシャ文字アルファ、ベータ、ガンマ（αβγ）
    r'\X4\001F600\X0\=',	     # ニヤリと笑う顔（絵文字、😀）
    r'\X4\001F600001F638\X0\='   #ニヤリと笑う猫の顔（2つの絵文字、😀😸）
]

with open('ret.txt', 'w', encoding='utf-8') as f:
    for src in lst:
        dst = decode_ifc_str(src)
        line = f'[{src}]->[{dst}]'
        print(line) # 環境によっては顔文字が正しく表示できない
        f.write(line+'\n')

Comments

[k-ura]

早々のご回答ありがとうございます！
[:-1]の件は、"\"による末尾の ' をエスケープしてしまうので、ダミーの文字列 "=" をつけて、-1していると理解しました。

re.subを使ってマッチした回数分だけ、to_str 関数で変換処理して、置換するということですね。
鮮やかな回答、お見事です。

また、デコードについても decode('unicode-escape') をどうやって使うかで頭がいっぱいだったところ、
decode('utf-16be') という方法があることをご教授いただけた点も勉強になりました。

下記2つほど、質問させてください。

①2バイトずつ変換処理を行うのは、文頭の "\X2\" にヒントがあるのでしょうか？
これは推測なのですが、文頭の "\X4" なら 4バイトずつみたいな、ルールがあるのでしょうか？
（今回のケースに限った独自ルールなのか、一般ルールなのかがわからなかったので）

②ビッグエンディアンかリトルエンディアンかは、どのように判断したのでしょうか？
ユニコードの文字列を見て、どっちのエンディアンか分かるものなのでしょうか？

お手数をおかけしますが、よろしくお願いします。

[8524ba23]

①
このような変換についての問題を解決する場合、まずはその変換仕様を正しく知ることが大事です。
今回はIFC→STEP→ISOと辿り、仕様を見つけました。
あとはその仕様を理解することでコードを書くことができます。

②
BEかLEの２択なので実際試してみました。
ただ、参考にあげたページ中か「unicode-escape endian」で検索すると仕様が見つかると思います。

[k-ura]

X4の対応コードならびに①②のご回答ありがとうございました。
参考にさせていただきます！

①
最初の参考サイト（How to decoding IFC using Ruby）まではたどり着いたのですが、それ以降は調べておりませんでした。
今後は、もう少し深掘りしてみたいと思います。

②
検索してみたところ、「ユニコードエスケープ形式の場合はUTF-16のビッグエンディアン」との情報がありました。
ネットワークバイトオーダ（SPARC/Intel）の方は理解していたつもりですが、文字エンコーディングの方は勉強不足でした。

いろいろとご教授頂き、大変勉強になりました。
どうもありがとうございました。