Pandas dfのfor文内部におけるスライスと関数の引数使用でのエラー

Question

Pandas dfの欠損の補完を検討しています。
dfは、aからdのgroup、各groupに1から5のx値、
各x値に対して欠損を含むy値から構成されています。

group毎にスライスし、各行に対して、
NaN値が有れば、他のxとy値によって補完値yを計算し、
新たな補完値列に値を代入、flag列に真値として1を代入、
実数が有れば、そのまま実数値を補完列に代入、
flag列に偽値として0を代入します。

2番目以降のgroupに対して、補完値が計算できません。
コード内にdfの内容を出力させましたが、
2番目以降のdfが空になっています。
dfのviewではなくcopyを取るなどの工夫は効果が有りませんでした。

import pandas as pd
import numpy as np

df_all = pd.DataFrame(
    data = [['a', 1, np.nan],
       ['a', 2, 1.0],
       ['a', 3, 3.0],
       ['a', 4, np.nan],
       ['a', 5, 2.0],
       ['b', 1, 1.0],
       ['b', 2, np.nan],
       ['b', 3, 3.0],
       ['b', 4, 3.0],
       ['b', 5, np.nan],
       ['c', 1, np.nan],
       ['c', 2, 2.0],
       ['c', 3, np.nan],
       ['c', 4, 3.0],
       ['c', 5, 1.0],
       ['d', 1, 2.0],
       ['d', 2, np.nan],
       ['d', 3, 4.0],
       ['d', 4, np.nan],
       ['d', 5, 2.0]],
    columns=['group', 'x', 'y'])

print(df_all)

def split_merge(df):
    groups = df['group'].unique()
    print('groups: {}'.format(groups))
    df_out = df[:1]
    for k in range(len(groups)):
        df = df[5*k:5*(k+1)].copy()
        print()
        print('df length: {} of {} in split roop {}'.format(len(df), df['group'].unique(), k))
        df_temp = interpolate(df)
        df_out= pd.concat([df_out, df_temp])
    df_out = df_out[1:]
    df_out['flag'] = df_out['flag'].astype('int8')
    return df_out

def interpolate(df):
    df['cal_y'] = np.nan * len(df)
    df['flag'] = np.nan * len(df)
    print('---splited df in interpolate function---')
    print('df length: {}'.format(len(df)))
    for i in range(len(df)):
        if pd.isna(df.at[i,'y']):
            #print('---splited df in interpolate function---')
            print('Detected na at raw {}'.format(i))
            df.at[i,'cal_y'] = calculate(i, df)
            df.at[i,'flag'] = 1
        else:
            df.at[i,'cal_y'] = df.at[i,'y']
            df.at[i,'flag'] = 0
    return df

def calculate(i, df):
    sum_wj = 0
    sum_wjyj = 0
    for j in range(len(df)):
        xi = df.at[i,'x']
        xj, yj = df.at[j,'x'], df.at[j,'y']
        if (j!=i) & (pd.notna(yj)):
            wj = 1 / (np.sqrt((xj - xi)**2))
            wjyj = wj * yj
        else:
            wj = 0
            wjyj = 0
        sum_wj += wj
        sum_wjyj += wjyj
    yi = sum_wjyj / sum_wj
    return yi

start = 0
group_count = 2
df = df_all[5*start:5*(start + group_count)].copy()
print(df)


df_out = split_merge(df)
df_out

Comments

[meg_]

言葉だけでは分かりにくいので、欲しい結果のデータフレームを提示出来ますでしょうか？

[iwase13]

早速のご対応ありがとうございます。
最初のgroup 'a'だけ上手く実行できたのですが、NaNがcal_yにて保管されています。
ｂからdのgroupは出力されません。

group x y cal_y flag
0 a 1 NaN 1.714286 1
1 a 2 1.0 1.000000 0
2 a 3 3.0 3.000000 0
3 a 4 NaN 2.200000 1
4 a 5 2.0 2.000000 0

[meg_]

こちらが「最終的に欲しい結果」ですか？

[iwase13]

エラーが生じており結果の全部を得ているわけではないので、
これは「最終的に欲しい結果」ではありません。
エラーが解消されば、group b以降でも、上記のa groupと同様な結果を得たいです。

[ppaul]

本題ではありませんが、補間の値と正しい値との差が大きすぎるように思います。二次のラグランジュ補間だと、ほとんど誤差は出ないですよ。

[iwase13]

ppaulさん、コメントありがとうございます。
この補完計算はダミーで、実際にはspline補完などリーズナブルなものを適応しようと思っています。

Answer 1

ご質問の回答になっているかどうか良くわかりませんが、こういう方法もあります。
numpyのpolyfitという多項式近似とpoly1dによる近似式による値を使ったものです。
別の近似式を使うのであれば、f=の部分をその関数定義に変更すれば使えるはずです。
df_listは長さ4のリストでa,b,c,dそれぞれが入っています。
全部合わせて長さ20のDataFrameの方がdf_concatです。

import pandas as pd
import numpy as np

def modify(df):
    f = np.poly1d(np.polyfit(df.dropna()['x'], df.dropna()['y'], 2))
    dfcopy = df.copy()
    dfcopy['y'] = df.apply(lambda row: f(row['x']) if row['flag'] else row['y'], axis=1)
    return dfcopy

df_all['flag'] = 1
df_all['flag'].where(df_all['y'].isna(), 0, inplace=True)
df_list = [modify(df) for _, df in df_all.groupby('group')]
print(df_list[3])
df_concat = pd.concat(df_list)
print(df_concat)

実行結果

>>> print(df_list[3])
   group  x    y  flag
15     d  1  2.0     0
16     d  2  3.5     1
17     d  3  4.0     0
18     d  4  3.5     1
19     d  5  2.0     0

>>> print(df_concat)
   group  x         y  flag
0      a  1 -2.666667     1
1      a  2  1.000000     0
2      a  3  3.000000     0
3      a  4  3.333333     1
4      a  5  2.000000     0
5      b  1  1.000000     0
6      b  2  2.333333     1
7      b  3  3.000000     0
8      b  4  3.000000     0
9      b  5  2.333333     1
10     c  1 -1.000000     1
11     c  2  2.000000     0
12     c  3  3.333333     1
13     c  4  3.000000     0
14     c  5  1.000000     0
15     d  1  2.000000     0
16     d  2  3.500000     1
17     d  3  4.000000     0
18     d  4  3.500000     1
19     d  5  2.000000     0

Comments

[iwase13]

ppaulさん
返信遅れ申し訳ありません。
難しかったので、咀嚼するのに時間を要しました。
dfのスライス、falg付けにForを使っていませんね。
近似はy値がNaNの行をdropして2次関数fを定義、lambda関数でyの近似値を代入するのですね。

自分でもこんなコードが書けるように精進したいと思います。

質問が1つ。
if row['flag']
はrow['flag']が「１」ならTrueと扱われるのでしょうか？

Answer 2

split_merge()のなかのループで、dfを変更してしまっているのが問題です。

    for k in range(len(groups)):
        df = df[5*k:5*(k+1)].copy()

ループの1回目で、df = df[0:5]と5行目までだけのものになってしまうので、次のループで6行目以降を取り出したときに空になります。
違う変数名を使うようにすればいいです。

上記変更をすると、interpolate()とcalculate()で別のエラーが出ると思います。

    for i in range(len(df)):
        if pd.isna(df.at[i,'y']):

df.at[i, 'y']のiは行番号ではなくインデックスで指定します。
なのでrangeを使った行番号ではなく、インデックスでループしないといけないです。

    for i in df.index:
        if pd.isna(df.at[i,'y']):

Comments

[iwase13]

bsdfanさん、ありがとうございます！
正常に動くようになりました。
動作しない理由、対策も分かりやすく説明して下さり勉強になりました。

in df.indexで何がリストになっているかを確認してみました。
スライスして別名で作られたdf_xxに対しても、
元のdfのindexを番号が割り当てられているのですね。
そうであれば、range(len(df))では、.locなどが出来ないのも納得です。

Answer 3

当方ではエラーが発生しなかったため、split_merge()を変更しgroupby()を使用しました。

def split_merge(df):
    df = df.reset_index(drop=True)
    df_out = interpolate(df)
    df_out['flag'] = df_out['flag'].astype('int8')
    return df_out

result = df_all.groupby('group').apply(split_merge)
print(result)
#        group  x    y     cal_y  flag
#group                                
#a     0     a  1  NaN  1.714286     1
#      1     a  2  1.0  1.000000     0
#      2     a  3  3.0  3.000000     0
#      3     a  4  NaN  2.200000     1
#      4     a  5  2.0  2.000000     0
#b     0     b  1  1.0  1.000000     0
#      1     b  2  NaN  2.200000     1
#      2     b  3  3.0  3.000000     0
#      3     b  4  3.0  3.000000     0
#      4     b  5  NaN  2.714286     1
#c     0     c  1  NaN  2.052632     1
#      1     c  2  2.0  2.000000     0
#      2     c  3  NaN  2.200000     1
#      3     c  4  3.0  3.000000     0
#      4     c  5  1.0  1.000000     0
#d     0     d  1  2.0  2.000000     0
#      1     d  2  NaN  2.857143     1
#      2     d  3  4.0  4.000000     0
#      3     d  4  NaN  2.857143     1
#      4     d  5  2.0  2.000000     0

Comments

[iwase13]

有難うございました。

残念ながら、df = df.reset_index(drop=True) を使ったsplit_merge() では、NaNがNaNのまま出力され、megさんのような結果は得られませんでした。
また、この方法では、補完の計算をgroup毎で演算するのではなく、全groupの全行に対して演算してしまうと思料します。

[meg_]

「df_all.groupby('group').apply(split_merge)」でグループ毎にsplit_mergeを適用しているはずですが、質問者さんの環境では動作しませんでしたか？

[meg_]

bsdfanさんの回答にて解決されたようなので良かったです。もしかして、あえてgroupbyを使用しない方法での実装を希望されてましたか？

[iwase13]

megさん、ありがとうございます。
動作いたしました。理解が足りませんでした。
groupbyについては知見がなく、避けていた訳ではありません。

df.allに対して直接.groupby('group').apply(split_merge)メソッドを適応させ、resultとして結果を得るのですね。私が作ったコードのsplit_merge()だけをmegさんのsplit_merge()に置き換えただけだったので正常に動作しませんでした。

df_all.groupby('group')でデータ分割し、.apply(split_merge)で分割データに対して演算するのですね。for文を使わないので、大量データの場合は、megさんの方法が高速かもしれませんね。