Pandasを使って任意の処理がしたい

1.　実現したいこと

以下のようなデータを扱っています。

df.head(20)

イメージ説明

各個人ごとに健康診断時の年齢と計測した西暦、病気を発症した経験がある場合はget_sickが1になっています。

いま、get_sick=0の人が将来病気にかかる可能性を予測するモデルを構築しようとしています。

そのため、get_sick=0の人が1〜5年後（任意）の年数後に0→1に変化しているかを確認し、もし変化していたら新しい列 'history' に1を、0→0であれば0を格納するという処理をしたいと考えています。

すでにget_sick=1となっているデータは学習に使わないのでget_sick=0のみを対象としています。

2. 試したこと

df.groupby('ID').['get_sick'].diff(-1)

を使って差分を取ろうとしたのですが、ageやyearを利用してどのように5年以内という条件を付け加えるのかがわかりませんでした。

Pandasの操作に詳しい方が居られましたら教えてくださると幸いです。
宜しくお願い致します。

3.　出力されたエラー

KeyError: 'str_0_0xb00xa30xf80x170xe80x7f0x00x0'

During handling of the above exception, another exception occurred:

KeyError                                  Traceback (most recent call last)
KeyError: 'str_0_0xb00xa30xf80x170xe80x7f0x00x0'

The above exception was the direct cause of the following exception:

UndefinedVariableError                    Traceback (most recent call last)
/usr/local/lib/python3.7/dist-packages/pandas/core/computation/scope.py in resolve(self, key, is_local)
    214                 from pandas.core.computation.ops import UndefinedVariableError
    215 
--> 216                 raise UndefinedVariableError(key, is_local) from err
    217 
    218     def swapkey(self, old_key: str, new_key: str, new_value=None) -> None:

UndefinedVariableError: name 'str_0_0xb00xa30xf80x170xe80x7f0x00x0' is not defined

回答1件

ベストアンサー

python
1N = 3 # 3年以内
2idx = df.groupby('ID').apply(lambda x: x.query("(year - @x['year'].min()) <= @N")['get_sick'].max())
3df = df.reset_index().assign(history=df.reset_index()['ID'].map(idx)).set_index(['ID', 'age'])
4print(df)
5
6#
7            get_sick  year  history
8ID     age                         
912168  67          0  2008        1
10       68          0  2009        1
11       69          0  2010        1
12       70          1  2011        1
1320268  65          0  2014        0
14       66          0  2015        0
15       67          0  2016        0
16       68          0  2017        0
17       69          1  2018        0
1833868  76          0  2014        1
19       78          1  2016        1
20       79          1  2017        1
21       80          1  2018        1
22170588 76          0  2013        1
23       77          1  2014        1
24246908 75          0  2009        1
25       78          1  2012        1
26252168 72          0  2008        0
27       80          1  2016        0