Python DataFrameの一部の文字列を置き換えたい

Question

前提・実現したいこと

各列に'性別', '年齢', '職業'…といった情報がそれぞれ記載されているcsvファイルがあります。
それをpandasで読み込み、一部の文字列を別のものに置き換えたい場合はどうすればいいかご教示いただけないでしょうか。

具体的には、「性別」列にある「非公表」と「不明」をNaNに置き換えたいと思っています。

発生している問題・エラーメッセージ

文字列の置き換えがうまくいきません。

該当のソースコード

import pandas as pd

df = pd.read_csv("data.csv")

status_cnt = df["性別"].value_counts()
print(status_cnt)
#男性     4323
#女性     2950
#非公表      62
#不明       23
#女児        1
#Name: 性別, dtype: int64

df_s = pd.Series([df['性別']])#ここから下のコードが間違っていると思うのですが、どう修正したら良いか分かりません
print(df_s)
#0    0        女性
#1        男性
#2        男性
#3        男...
#dtype: object

df = df_s.str.replace('非公表', 'NaN') 
print(df)
#0   NaN
#dtype: float64

Answer 1

お好きな方法をどうぞ

• Series.mask() を使う - '非公表'と'不明'をマスクする

https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.Series.mask.html

df['性別'] = df.mask(df['性別'].isin(['非公表', '不明']))

• Series.where() を使う - 男性、女性、女児以外をマスクする

https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.Series.where.html

df['性別'] = df.where(df['性別'].isin(['男性', '女性', '女児']))

• Series.replace() を使う - '非公表'と'不明'をNaNに置き換える

https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.Series.replace.html

df['性別'] = df['性別'].replace(['非公表', '不明'], np.nan)

Comments

[SuzuAya]

>magichan様
ご回答ありがとうございます！Series.replace() を使ってまさにやりたかったことが実現できました！！
大変助かりました。本当にありがとうございました。

Answer 2

以下のように，データフレームの形式のまま処理するのではだめでしょうか？

import numpy as np
import pandas as pd

df = pd.DataFrame({"性別": ["男性", "不明", "非公表", "女性"]})
df.replace(["非公表","不明"], "NaN")
#df_s = df.replace(["非公表","不明"], "NaN")

Comments

[DataAnalOjisan]

文字列ではなくNaN値として処理したいのであれば，
df.replace(["非公表","不明"], "NaN")
を以下のように変更してください。
df.replace(["非公表","不明"], np.nan)

[SuzuAya]

>rHiramoto様
早速のご回答ありがとうございます！試してみたところ、元々8,000人以上のデータが存在していたのですが（詳細な人数は質問のソースコードの部分にも記載しております）、以下のように各カテゴリ1人ずつとなってしまいました。
　　性別
0 男性
1 不明
2 非公表
3 女性

[DataAnalOjisan]

私のほうで作成したデータフレームはあくまで，動作確認用のサンプルデータになりますので，ご自身の環境に合わせて，データフレーム部分は変更していただければと思います。
ですので，SuzuAyaさんの挙げているコードを参照するのであれば，以下のようになると思われます。

import pandas as pd

df = pd.read_csv("data.csv")

df["性別"] = df["性別"].replace(["非公表","不明"], "NaN")

display(df["性別"])

[DataAnalOjisan]

また，上でも書きましたが，文字列ではなくNaN値として処理したいのであれば以下のようにコードを修正してください。

import numpy as np
import pandas as pd

df = pd.read_csv("data.csv")

df["性別"] = df["性別"].replace(["非公表","不明"], np.nan)

display(df["性別"])

[SuzuAya]

>rHiramoto様
勉強不足でお手数をお掛けしております…お忙しいところ追加のアドバイスをいただき、ありがとうございました！

Answer 3

こんな感じでどうでしょうか？

df["性別"] = df["性別"].map({'非公表': np.nan, '不明': np.nan})

Comments

[SuzuAya]

>autumn_nsn様
早速のご回答ありがとうございます！
試してみたところ、性別列の全て(男性、女性含む）がNaN値になってしまいました…。

[magichan]

Series.map() の場合、定義されていない値は NaN に変更されてしまいますので注意が必用です。
定義されていない値は”変更しない”のであれば、Series.replace() をお使いください。