DataFrameのreplaceで置換されなかった要素の処理について

Question

DataFrameのreplaceをした際に、replaceされない要素について以下の処理を行いたいです。

以下のようなDataFrameがあります。

pref = ["東京", "東京", "東京", "埼玉", "千葉", "神奈川"]
value = ["渋谷", "新宿", "池袋", "大宮", "新浦安", "横浜"]

df = pd.DataFrame({'都道府県':pref, '市区町村': value})

index	都道府県	市区町村
1	東京	渋谷
2	東京	新宿
3	東京	池袋
4	埼玉	大宮
5	千葉	新浦安
6	神奈川	横浜

このDataFrameの市区町村をkeyにして、replaceを利用してvalueに置換します。

dic = {"渋谷":100, "新宿":90, "大宮":50, "新浦安":45, "横浜":80}
df["市区町村"] = df["市区町村"].replace(dic)

すると以下のようなDataFrameができます。

index	都道府県	市区町村
1	東京	100
2	東京	90
3	東京	池袋
4	埼玉	50
5	千葉	45
6	神奈川	80

ここで、辞書のkeyにない池袋には東京の平均値(100+90)/2=95を入れたいです。

しかし、うまく処理をする方法がわかりませんでした。

できれば、{"池袋":95}の辞書を再度定義してreplaceするなどはしたくないです。(たくさんの市区町村が本来はあるため、辞書を作成するのが大変です)

うまいこと処理できるような方法はありますでしょうか。よろしくお願いします。

Answer 1

解決済になっていますが、ベストアンサーとなっている回答が適当ではないので投稿します。

---

まず、辞書を用いて値を置換する際に、質問文では.replace()メソッドを用いていますが、代わりに.map()メソッドを用いると辞書のキーに存在せず置換されなかった値は自動的にNaNに変換されます。

In [11]: df["市区町村"].replace(dic)
Out[11]:
0    100
1     90
2     池袋
3     50
4     45
5     80
Name: 市区町村, dtype: object

In [12]: df["市区町村"].map(dic)
Out[12]:
0    100.0
1     90.0
2      NaN
3     50.0
4     45.0
5     80.0
Name: 市区町村, dtype: float64

その結果、.replace()メソッドを用いて得られたシリーズは整数型と文字列型が混在するobjectデータ型になってしまっていますが、.map()メソッドを用いて得られたシリーズはすべてが数値からなるfloatデータ型になっています（なお整数型になっていないのはintデータ型がNaNを受け入れないためです）。
さらに、このとき.replace()メソッドよりも.map()メソッドのほうが高速に動作していることも注目に値します（この速度差はシリーズの行数が多いとさらに開きます）。

In [13]: %timeit df["市区町村"].replace(dic)
    ...: %timeit df["市区町村"].map(dic)
694 µs ± 8.52 µs per loop (mean ± std. dev. of 7 runs, 1000 loops each)
475 µs ± 9.99 µs per loop (mean ± std. dev. of 7 runs, 1000 loops each)

---

つづいて、値がNaNとなっているデータを特定の値で上書きする場合には、.fillna()メソッドが利用できます。.map()メソッドを用いたことがここで生きてきます。NaNに変換したことで、わざわざ'池袋'をキーにした辞書ライクなものを作成する必要がなくなり、シリーズの標準のメソッドを活用することができます。

シリーズの平均値で欠損値を穴埋めする場合は、Series.fillna(Series.mean))のようにします。以下はこの動作の例です。

In [14]: s = pd.Series([1, 2, None, 3, 4])

In [15]: s.fillna(s.mean())
Out[15]:
0    1.0
1    2.0
2    2.5
3    3.0
4    4.0
dtype: float64

この動作を'都道府県'列の値に基づいたグループごとに適用します。「シリーズを変更する動作を、グループごとに適用」は.groupby().transform()を用います（.groupby().apply()でも可能ですが適当ではありません）。

In [16]: df['市区町村'].map(dic).groupby(df['都道府県']).transform(lambda s: s.fillna(s.mean()))
Out[16]:
0    100.0
1     90.0
2     95.0
3     50.0
4     45.0
5     80.0
Name: 市区町村, dtype: float64

このようにして得たシリーズをもとのdfに再び割り当てることで、求めたい結果が得られます。

---

以下に今回の操作をまとめます。

In [17]: pref = ["東京", "東京", "東京", "埼玉", "千葉", "神奈川"]
    ...: value = ["渋谷", "新宿", "池袋", "大宮", "新浦安", "横浜"]
    ...: df = pd.DataFrame({'都道府県':pref, '市区町村': value})
    ...: dic = {"渋谷":100, "新宿":90, "大宮":50, "新浦安":45, "横浜":80}
    ...: 
    ...: df
Out[17]:
  都道府県 市区町村
0   東京   渋谷
1   東京   新宿
2   東京   池袋
3   埼玉   大宮
4   千葉  新浦安
5  神奈川   横浜

In [18]: df.assign(市区町村=df['市区町村'].map(dic).groupby(df['都道府県']).transform(lambda s: s.fillna(s.mean())))
Out[18]:
  都道府県   市区町村
0   東京  100.0
1   東京   90.0
2   東京   95.0
3   埼玉   50.0
4   千葉   45.0
5  神奈川   80.0

Comments

[WatanabeJin]

このような回答お待ちしておりました！ありがとうございます。

Answer 2

そういう特殊な処理を簡単にはできませんので、手順を追って普通に行いましょう。

>>> import pandas as pd
>>>
>>> pref = ["東京", "東京", "東京", "埼玉", "千葉", "神奈川"]
>>> value = ["渋谷", "新宿", "池袋", "大宮", "新浦安", "横浜"]
>>> df = pd.DataFrame({'都道府県':pref, '市区町村': value})
>>> dic = {"渋谷":100, "新宿":90, "大宮":50, "新浦安":45, "横浜":80}
>>> df["市区町村"] = df["市区町村"].replace(dic)
>>> tempdf = df[df["市区町村"].apply(lambda x:type(x) == int)].copy()
>>> tempdf["市区町村"] = tempdf["市区町村"].astype(int)
>>> mean_df = tempdf.groupby('都道府県').mean()
>>> mean_dict = mean_df.to_dict()['市区町村']
>>> df['市区町村']  = df.apply(lambda row: row['市区町村'] if type(row['市区町村'])==int else mean_dict[row['都道府県']], axis=1)
>>> print(df)
  都道府県  市区町村
0   東京   100
1   東京    90
2   東京    95
3   埼玉    50
4   千葉    45
5  神奈川    80

Comments

[WatanabeJin]

とてもスマートなやり方です！かなり遠回りでやっていましたので助かりました。