カラムの中の特定のデータを削除したい。

Question

この患者_年代カラムの”調査中”データを取り外したいです。
ただ表示しないのではなく、除外し、他の文字列を削除（既知）、dtypeをintにしたいです。

<bound method NDFrame.tail of       Unnamed: 0    No      公表_年月日  患者_居住地 患者_年代 患者_性別  備考
0              0     1  2020-01-24  湖北省武漢市   40代    男性 NaN
1              1     2  2020-01-25  湖北省武漢市   30代    女性 NaN
2              2     3  2020-01-30  湖南省長沙市   30代    女性 NaN
3              3     4  2020-02-13      都内   70代    男性 NaN
4              4     5  2020-02-14      都内   50代    女性 NaN
...          ...   ...         ...     ...   ...   ...  ..
1028        1028  1029  2020-04-05     調査中   90代    女性 NaN
1029        1029  1030  2020-04-05     調査中   80代    男性 NaN
1030        1030  1031  2020-04-05     調査中   80代    女性 NaN
1031        1031  1032  2020-04-05     調査中   90代    女性 NaN
1032        1032  1033  2020-04-05     調査中   90代    女性 NaN

[1033 rows x 7 columns]>

>>> dfs['患者_年代'].value_counts()
30代      205
40代      195
20代      161
50代      146
70代      117
60代      115
80代       45
90代       17
10代       17
10歳未満      8
調査中        7

Answer 1

質問の内容をそのまま実現する方法としては、正規表現あたりを使って数値部分を抜き出す方法となるかとおもいます。

# '10歳未満'と'10代'は同じ値('10')となるので、'10歳未満'を'0代'に置換
df['患者_年代'] = df['患者_年代'].replace({'10歳未満':'0代'})
# 先頭の数値部分を抜き出す(調査中は数値部分が無いので''となるはず)
df['患者_年代'] = df['患者_年代'].str.extract('^(\d*)')
# ''のデータを削除
df = df[df['患者_年代'] != '']

他の方法としては Series.map() にて全部数値に置き換える方法もあります。
この方法では置換データを全て準備する必用がありますが、この程度であればそれほど手間ではないでしょう。

df['患者_年代'] = df['患者_年代'].map({
    '10歳未満': 0,
    '10代': 10,
    '20代': 20,
    '30代': 30,
    '40代': 40,
    '50代': 50,
    '60代': 60,
    '70代': 70,
    '80代': 80,
    '90代': 90,
    '調査中': np.nan})

# 調査中(NaN)データを削除
df = df.dropna()

ただ私であれば、このくらいのコードを書くのであれば、

dtypeをintにしたいです。

ではなくCategory型のデータに変換するかと思います。

cat = pd.api.types.CategoricalDtype(categories = ['10歳未満',
                                                  '10代',
                                                  '20代',
                                                  '30代',
                                                  '40代',
                                                  '50代',
                                                  '60代',
                                                  '70代',
                                                  '80代',
                                                  '90代'],
                                    ordered=True)
df['患者_年代'] = df['患者_年代'].astype(cat)
df = df.dropna()

Comments

[退会済みユーザー]

ありがとうございます。Category型のデータは平均をとったりできますか？

[magichan]

大変遅くなりました。完全に質問を読み飛ばしておりました。申し訳ありません。
Category型は文字通り分類のための質的変数ですので（上記の場合順序尺度ではありますが）、そのまま平均をとったりなどの計算することはできません。（そもそも’10代’と’20代’の平均などはなんの意味も持たないと思いますが。。。）
まあ、どうしてもというのであれば、
Series.cat.codes
にてInt型の（量的）変数に変換することはできます。