Q&A
前提・実現したいこと
pythonの正規表現でunicodeを削除したいです
'あいうえお\ud83c\udf38かきくけこ\u3000さしすせそ'
↓
'あいうえおかきくけこさしすせそ'
というようにしたいです
発生している問題・エラーメッセージ
SyntaxError: (unicode error) 'unicodeescape' codec can't decode bytes in position 56-59: truncated \uXXXX escape
該当のソースコード
python
1text = 'あいうえお\ud83c\udf38かきくけこ\u3000さしすせそ' 2pattern = r'\u[a-zA-Z0-9_]{4}' 3# pattern = '\u3000' 4text = re.sub(pattern,'',text) 5print(text)
試したこと
おそらくバックスラッシュ周りのエラーだと思ったので、試行錯誤したのですがうまく動きませんでした。。。
補足情報（FW/ツールのバージョンなど）
ここにより詳細な情報を記載してください。
回答1件
0
ベストアンサー
まずtextの中身の各文字はすべてUNICODEであることを認識ください。
そのうえで、どのような文字を取り除きたいかを明確にする必要があります。
以下、２つの方法でとりあえず求める結果を得ることができます。
Python
1text = 'あいうえお\ud83c\udf38かきくけこ\u3000さしすせそ' 2 3# 方法１：制限のあるエンコーディングに変換する 4ret = text.encode('cp932',errors='ignore').decode('cp932') 5ret = ret.replace('\u3000','') 6print(ret) # あいうえおかきくけこさしすせそ 7 8# 方法２：特定のカテゴリを除く 9# Other, Surrogate（その他，サロゲート）とSeparator, Line（区切り，行）を除く 10import unicodedata 11ret = ''.join([c for c in text if unicodedata.category(c) not in ('Cs','Zs')]) 12print(ret) # あいうえおかきくけこさしすせそ
投稿2020/08/22 07:48
総合スコア38341
あなたの回答
tips
プレビュー
バッドをするには、ログインかつ
こちらの条件を満たす必要があります。
2020/08/22 08:00