pandas: 加重平均を用いたデータ処理

Question

Python Pandasでのデータ処理の質問です。
以下のようなDataFrameに対して、

df1

A	B	C
1	0	0
0	1	0
0	0	-1
-1	0	0
0	1	0
0	-1	0

以下のようなDataFrameを返す処理をさせたいと考えています。
df2

A	B	C
0.5	0.5	0.5
0.75	0.5	0.5
0.75	0.75	0.5
0.75	0.75	0.25
0.375	0.75	0.25
0.375	0.875	0.25

df1とdf2ともに行方向に時系列データです。
df1が問題A,B,Cに対しての正解不正解を表しており、df2がA,B,Cに対する習熟度のイメージです。
df2の先頭行は0.5として初期化しています。

処理の内容としては、df1の各行の値（1:正解, -1:不正解, 0.5:未出題）に対して、
df2の次の行のスコアが更新される、というものです。
スコアの更新方法は、正解ならば直前のスコアの0.5倍に0.5を加算し、不正解ならば直前のスコアを0.5倍するだけ、という仕様です。

df2の各値は加重平均で表すことができ、例えば2回正解したときのdf2の値は、
0.75 = 0.5 * 0.5 + 0.5
0.875 = 0.5 * 0.75 + 0.5
= 0.5 * (0.5 * 0.5 + 0.5) + 0.5
= 0.5^2 * 0.5 + 0.5 * 0.5 + 0.5
となります。

単純な加重平均ならば

np.average(df1, weights=hoge)

で算出できると思うのですが、上記のようなケースだとどのように記述すれば高速に処理できるのでしょうか。

Comments

[meg_]

> df1の各行の値（1:正解, -1:不正解）
「0」は何でしょうか？

[Seorie]

0は出題されていないので無回答を表します。説明不足でした。
df1の冒頭3行は
問題1がAで正解、問題2がBで正解、問題3がCで不正解
の意味です。

[meg_]

> 説明不足でした。
質問は編集できますので追記しましょう。

また、df2の1行目が「0.5」なのはどういう計算ですか？

[Seorie]

0.5はA,B,Cに対する習熟度として初期値0.5を割り当てています。

[meg_]

質問は編集できますので追加の情報は質問に追記しましょう。

[meg_]

> 正解ならば直前のスコアの0.5倍に1を加算し、
> 0.75 = 0.5 * 0.5 + 0.5
説明文の「1を加算し」は間違いでしょうか？

[Seorie]

>説明文の「1を加算し」は間違いでしょうか？
0.5の誤りでした。
質問も編集したいと思います。

Answer 1

もし加重平均にこだわらないのであれば、以下のように素直に計算してはいかがですか。
あまり凝った計算をやると却って遅くなることがあるので、これぐらいでも十分だと思います。

import pandas as pd
import numpy as np

def learning_level(df):
    a1 = df.values
    rows, columns = df.shape

    a2 = np.zeros((rows + 1) *  columns).reshape((rows + 1, columns))
    a2[0] = 0.5
    for i in range(rows):
        a2[i+1] = np.where (a1[i] != 0, a2[i] / 2.0, a2[i])
        a2[i+1] = np.where (a1[i] == 1, a2[i+1] + 0.5, a2[i+1])
    return pd.DataFrame(a2, columns = df.columns)

if __name__ == '__main__':

    df1 = pd.DataFrame({'A': [1,0,0,-1,0,0],
                        'B': [0,1,0,0,1,-1],
                        'C': [0,0,-1,0,0,0] })
    df2 = learning_level(df1)
    print(df2)

実行すると以下のようになります。

$ python learning_level.py
       A       B     C
0  0.500  0.5000  0.50
1  0.750  0.5000  0.50
2  0.750  0.7500  0.50
3  0.750  0.7500  0.25
4  0.375  0.7500  0.25
5  0.375  0.8750  0.25
6  0.375  0.4375  0.25

df2の縦を1行増やしてあるのは、df1の最終行の成績を反映させるためです。

Comments

[Seorie]

ありがとうございます。素直にforループで処理することになるのですね、参考になりました。