Python サロゲートペア文字

Question

Pythonを使ってサロゲートペア文字を取り除く方法があれば教えていただきたいです。

サロゲートペア文字について
https://www.magata.net/memo/index.php?%A5%B5%A5%ED%A5%B2%A1%BC%A5%C8%A5%DA%A5%A2

Comments

[y_waiwai]

なにをするためにそれをしたいんでしょうか

[jetstream]

Python経由でBacklogに登録する際にサロゲートペア文字が含まれていると失敗してしまうので、サロゲートペア文字を除去するような処理を入れたいと思っています。

[chirimen]

確認ですが、入力は UTF-16 なのでしょうか?

[jetstream]

はい、入力は UTF-16 かと思います。

Answer 1

入力の UTF-16 から Python の文字列内部表現への変換は正常にできているとして、
UTF-16 にエンコードしたときに2バイトにならない文字を削除するという方針ではどうでしょうか。

下記の例では、絵文字 "🙏" (U+0001F64F) を UTF-16 に変換すると 0xD8 0x3D 0xDE 0x4F の4バイトになることを利用して削除しています。

s = '絵文字"\U0001f64f"を含む文字列'    # '絵文字"🙏"を含む文字列'
a = ''.join(filter(lambda c: len(c.encode('utf-16-be')) == 2, s))    # '絵文字""を含む文字列'

Comments

[jetstream]

早速のご回答ありがとうございます！

[jetstream]

エンコードを"UTF-16"ではなくて"UTF-16BE"としている理由をおしえていただくことできますでしょうか？

[chirimen]

UTF-16 で試したらBOMがついて通常文字が4バイトになったからです。
BOM付き4バイトを OK とするより、BOMなし2バイトOKの方が読みやすいと思ったので UTF-16-BE にしました。

UTF-16-LE でなく UTF-16-BE にしたのは、バイト列を表示して確認する際に読みやすいからで、こちらは判定には特に関係しません。