【Pandas】replaceメソッドでDataframeの置換（部分一致）ができない

Question

課題

以下のページを参考に、CSVファイルのデータの一部（*）をAに置換したいと考えています。
regex=Trueにしましたが、置換できませんでした。
解決方法を教えていただけると嬉しいです。

https://it-ojisan.tokyo/pandas-replace-regex/

https://note.nkmk.me/python-pandas-replace/

コード

# -*- coding: utf-8 -*-
import pandas as pd

LOAD_CSV_PATH = './test.csv'


df1 = pd.read_csv(LOAD_CSV_PATH, dtype="string")
print("df1")
print(df1)

"""
   A    B    C
0   11   21   31
1   12   22   32
2  *13  *23  *33
3   14   24   34
"""

# *を除去
df2 = pd.read_csv(LOAD_CSV_PATH, dtype="string")
df2 = df2.replace("*", "A", regex=True)
print(df2)
"""
     A    B    C
0   11   21   31
1   12   22   32
2  *13  *23  *33
3   14   24   34
"""

Answer 1

DataFrame.replace()を使うのであれば

df.replace(r'^*(\d+)$', r'A\1', regex=True)

ではないでしょうか。
df.replace() の場合は文字列の全体が一致した時に置換を行います。

import pandas as pd

df = pd.DataFrame({'A':['11','12','*13','14'],
                   'B':['21','22','*23','24'],
                   'C':['31','32','*33','34']})
print(df)
#     A    B    C
#0   11   21   31
#1   12   22   32
#2  *13  *23  *33
#3   14   24   34

df = df.replace(r'^*(\d+)$', r'A\1', regex=True)
print(df)
#     A    B    C
#0   11   21   31
#1   12   22   32
#2  A13  A23  A33
#3   14   24   34

単純に文字列の部分置換を行いたいのであれば、Series.str.replace() のほうが分かりやすい気がします。
ただ、こちらの method は Seriesのみとなりますので、DataFrame全体に適用する場合は apply() などで列毎に処理をする必用があります。

df = df.apply(lambda d: d.str.replace('*', 'A', regex=False))

Answer 2

regex=Trueを用いるということは正規表現での置換になると思います。
正規表現に置いて、*は正規表現記号でなので、置換する場合は正規表現と間違えられない様に、バックスラッシュ(\)にてエスケープしなければいけません。

よって置換(部分一致)するプログラムは以下になります。

df2 = df2.replace('*', 'A', regex=True)

基本的な正規表現一覧

ちなみに正規表現を使わない場合だと以下のコードでも実装できます。

for column in df2.columns:
    df2[column] = df2[column].str.replace("*", "A")
display(df2)

Comments

[tantan1]

ありがとうございます。大変助かりました。

Answer 3

* は正規表現において、「直前の文字が０回以上繰り返す」という特殊な文字として使用されるので、* という文字自体を表したい場合は * とエスケープする必要があります。
\ は Python でエスケープが必要な文字なので、r"*" で raw 文字リテラルを使用します。

また、各列の型を文字列にしたい場合、dtype="string" ではなく、dtype=str です。

基本的な正規表現一覧 | murashun.jp

修正後のコード

# -*- coding: utf-8 -*-
import pandas as pd
from io import StringIO

text = StringIO("""A,B,C
11,21,31
12,22,32
*13,*23,*33
14,24,34""")


df = pd.read_csv(text, dtype=str)

# *を除去
df2 = df.replace(r"*", "A", regex=True)
print(df2)

     A    B    C
0   11   21   31
1   12   22   32
2  A13  A23  A33
3   14   24   34

Comments

[tantan1]

回答いただいたとおりで正常に動作しましたのでベストアンサーとしました。