pandas での正規表現が動作しない

Question

pandasの特定の列に含まれる漢字、ひらがな　を削除したいのですが
下記のようにすると

sys['BANGO'] = sys['BANGO'].replace(r'\p{Hiragana}|\p{Script=Han}+','', regex=True)

[bad escape \p at position 0]と表示されてしまいます。

原因がわからないので教えていただけないでしょうか？
sys['BANGO']にはマッチしないすべて半角文字[abc]なども含みます

Answer 1

pandasが利用するPython標準の正規表現モジュールreは、Unicodeプロパティ(\p{Hiragana}など)に対応していません。提示されたエラーはそれが原因です。

いっぽう、reに対して後方互換性を持つregexパッケージが存在し、こちらはUnicodeプロパティにある程度対応しています。

regex · PyPI

This regex implementation is backwards-compatible with the standard ‘re’ module, but offers additional functionality.

そこで、replaceを使う代わりに、regexで同様の処理を行なう関数regex.subnをapplyで呼び出すようにすれば、Unicodeプロパティを使った置換処理を行なえます。

import pandas as pd
import io
import regex

txt = """
BANGO
これはregexをpandasに適用するテストです。
"""

df = pd.read_csv(io.StringIO(txt))
# print(df)

print(df['BANGO'].apply(lambda x: regex.subn(
    r'(?:\p{Hiragana}|\p{Script=Han})+', '', x)[0]))

0    regexpandasテスト。
Name: BANGO, dtype: object

Comments

[ryoucyan2000]

ありがとうございます

参考にしたコードがregex=Trueとなっていたのでてっきりregexに準ずるものと思い込んでいました

[Daregada]

regexって正規表現を示す一般的な用語で、特定の正規表現の仕様を示すものではありません。