Python: pandasで条件付きでfillnaしたいが反映されない

Question

1. PythonのPandasライブラリで欠損値の穴埋めをしたい。

データの整理をするうえで、欠損補完で詰まりました。
何列かあるDataFrameを作りました。何列かある中で、
SUUJI列の欠損を埋めるのに、各ID列ごとの平均を出して
その値で、各ID列の欠損を埋めたいと考えています。

1. 利用するDataFrameの部分

例えば、
・CATEGORY=1の欠損については、(1.0+2.5)/2の値で埋める。
・CATEGORY=2の欠損については、(0.9+0.4+0.3)/3の値で埋める。
ということをしたいのです。

CATEGORY	SUUJI
1	1.0
1	2.5
1	NaN
2	0.9
2	NaN
2	0.4
2	0.3

3.書いたスクリプト
以下のスクリプトでfillnaの結果が反映されません。
最後の行を、inplace=Falseにしてprintすると、埋められているdfが出力されるのですが
inplace=Trueのもとでは、df表示させても欠損値が補完されていません。

for i in df['CATEGORY'].unique().tolist():
    val2 = df[df['CATEGORY']==i]['SUUJI'].mean()
    print(val2)
    df[df['CATEGORY']==i]['SUUJI'].fillna(value=val2,inplace=True)

Answer 1

わたしもnomukenさんが書かれているように groupby() を使うのが良いかと思いますが、現状の方法でやりたいのであれば

まずは、
df[df['CATEGORY']==i]['SUUJI']
の箇所を
df.loc[df['CATEGORY']==i,'SUUJI']
とする必要があります。

前者は元のデータフレームの部分コピーが作成される可能性がありますので、コピーされたデータフレームに対していくら修正を行っても元のデータフレームは全く変更されない事になります。
後者はの場合は元のデータフレームのViewとして扱われますので、Viewに対する変更は元のデータフレームにも反映されます。

ただ、残念なことに上記の修正を行い

df.loc[df['CATEGORY']==i,'SUUJI'].fillna(value=val2, inplace=True)

としても動作しないようです。
原因の詳細は詳しく追っていので解かっていないのですが、経験上Viewに対してのinplace=Trueの操作は動作しません。（原因の詳細がわかる方おりりましたらコメントお願いします）
ですので、inplace=True を諦めて

for i in df['CATEGORY'].unique().tolist():
    val2 = df[df['CATEGORY']==i]['SUUJI'].mean()
    df.loc[df['CATEGORY']==i,'SUUJI'] = df.loc[df['CATEGORY']==i,'SUUJI'].fillna(value=val2)

のように記述することで問題なく動作すると思います
あとは ループを使う場合でも groupby()を使って

for grp, data in df.groupby('CATEGORY'):
    val2 = data['SUUJI'].mean()
    df.loc[df['CATEGORY']==grp,'SUUJI'] = data['SUUJI'].fillna(value=val2)

のように書くこともできます。

Answer 2

こんな感じでしょうか。

import pandas as pd
import numpy as np

df = pd.DataFrame({'CATEGORY':[1, 1, 1, 2 , 2, 2, 2],'SUUJI':[1.0, 2.5, np.nan, 0.9, np.nan, 0.4, 0.3]})

print(df)
"""
   CATEGORY  SUUJI
0         1    1.0
1         1    2.5
2         1    NaN
3         2    0.9
4         2    NaN
5         2    0.4
6         2    0.3
"""

df['SUUJI'] = df.groupby('CATEGORY').transform(lambda x: x.fillna(x.mean()))['SUUJI']
"""
   CATEGORY     SUUJI
0         1  1.000000
1         1  2.500000
2         1  1.750000
3         2  0.900000
4         2  0.533333
5         2  0.400000
6         2  0.300000
"""

print(df)

参考サイト：Pandas: groupby()してグループ単位で値補完