異体字を含むテキストの長さを知りたい

Question

遭遇した問題

まずは、こちらのコードを見てください。

text = "祇????祇"

print(len(text))

for t in text:
    print(t)

結果はこうなります。

3
祇

祇

text変数に入っている最初の漢字はIVS異体字であり、次の漢字は通常の字体です。IVS異体字は1つで2文字として扱われてしまいます。encode("unicode-escape")すると、以下のように文字が分割されてしまいforが3周回っていることがわかります。

b'\u7947'
b'\U000e010f' ※異体字セレクター部分
b'\u7947'

私が知りたいこと

IVS異体字を含んでいても、1文字としてlenカウントする方法が知りたいです。また、forを回した際に異体字がバラけないようにする方法が知りたいです。

よろしくお願いいたします。

Answer 1

unisegを使うとできるようです。

for grapheme in uniseg.graphemecluster.grapheme_clusters("\u7947\U000e010f\u7947"):
    print(grapheme)

Comments

[test_user_q]

すごい、こんなものがあるんですね。
ありがとうございます。うまく動きました！