Python 時系列データを1日ずつずらしながら読み込みたい

Question

前提・実現したいこと

2020/1/20～2020/6/30までのデータを，「過去20日分のデータを入力し，将来20日分のデータを出力する」ような形で読み込むにはどうしたらいいかアドバイスをいただけますと幸いです．
（例：2020/1/20～2020/2/8までのデータを入力し，2020/2/9～2020/2/28までのデータを出力する）

データの詳細：2020/1/20～2020/6/30までの韓国における新型コロナ感染者のデータです．
感染日，性別，年齢，居住地などの情報が含まれています．
これらの情報をXGBOOSTの回帰モデルに入力し，予測感染者数を出力させたいと考えております．

該当のソースコード

データの前処理部分は割愛させていただきます．

import pandas as pd
import numpy as np
import xgboost as xgb
from sklearn.model_selection import GridSearchCV
from sklearn.metrics import mean_squared_error
import matplotlib.pyplot as plt
from sklearn.externals import joblib

df = pd.read_csv("data.csv")
#print(df.head)

# データを特徴量と目的変数に分ける
df_x = df
df_y = df[['感染者数']]

#print(df_x.head())
#print(df_y.head())

# xgboostモデルの作成
reg = xgb.XGBRegressor()

# ハイパーパラメータ探索
reg_cv = GridSearchCV(reg, {'learning_rate':[0.01,0.03,0.05,0.1,0.3],'min_child_weight': [1,2,3,4,5], 'max_depth': [2,4,6,8,10], 'n_estimators': [50,100,200,300,400,500]}, verbose=1)

train_x = df_x[5:29]# この部分をどう修正したらよいか分かりません
train_y = df_y[29:53]# この部分をどう修正したらよいか分かりません

reg_cv.fit(train_x, train_y)
print(reg_cv.best_params_, reg_cv.best_score_)

# 改めて最適パラメータで学習
reg = xgb.XGBRegressor(**reg_cv.best_params_)
reg.fit(train_x, train_y)

試したこと

こちらのサイトを参考に，データの前処理を試みたのですが，うまく今回のケースに適用することができませんでした．

Comments

[8524ba23]

「データを入力」と「データを出力」の意味が分かりません。
どのようなデータ（データフレーム？）を入力、出力されたいのかを過去３日分なりで具体的なデータ例で提示ください。

[SuzuAya]

>can110様
ご確認ありがとうございます．説明が不足しており，貴重なお時間を不当に頂いてしまい申し訳ございません．質問を編集し，データの詳細を追記いたしました．ご確認頂けますと幸いです．

[8524ba23]

質問を変えます。
コード中のdf_xは過去（＝入力？）, df_yは将来（＝出力？）データを表しており
「この部分をどう修正したらよいか分かりません」という部分での行の抽出方法が分からないといった感じでしょうか？

[SuzuAya]

>can110様
たびたびお手数をお掛けしており申し訳ございません．

＞コード中のdf_xは過去（＝入力？）, df_yは将来（＝出力？）データを表しており
ご理解の通りです．説明不足で申し訳ございません．

＞「この部分をどう修正したらよいか分かりません」という部分での行の抽出方法が分からないといった感じでしょうか？
ご理解の通りです．現在のコードですと，df_xで「2020/1/25～2020/2/17の感染者の情報（感染者数以外）」を入力し，df_yで「2020/2/18～2020/3/12の感染者数」を出力するモデルになっております．
このモデルを，例えば，以下のように修正したいと考えております．
・df_xで「2020/1/20～2020/2/8までの感染者の情報（感染者数以外）」を入力し，df_yで「2020/2/9～2020/2/29の感染者数」を出力する
・次に，df_xで「2020/1/21～2020/2/9までの感染者の情報（感染者数以外）」を入力し，df_yで「2020/2/10～2020/3/1の感染者数」を出力する
・最終的にdf_xで「2020/5/21～2020/6/10までの感染者の情報（感染者数以外）」を入力し，df_yで「2020/6/11～2020/6/30の感染者数」を出力するまで繰り返したいと考えております．

伝わっておりますでしょうか…．説明が分かりにくく申し訳ございません．情報が不足しておりましたら大変お手数ですがお知らせ頂けますと幸いです．

[8524ba23]

理解できた範囲で回答したいと思います。

Answer 1

やりたいことを理解できているか分かりませんが、指定した日を基準として過去と将来のデータフレームを得る例を示します。

import pandas as pd
from datetime import timedelta

# テストデータ
dr = pd.date_range(start='2020-01-20', end='2020-06-30')
df = pd.DataFrame({'date':dr, 'val':[i+1 for i in range(len(dr))]})

DAYS = 3
BASE = '2020-02-09'

base = pd.to_datetime([BASE])[0]

pas_ed = base - timedelta(days=1)
pas_st = pas_ed - timedelta(days=DAYS-1)

fet_st = base
fet_ed = base + timedelta(days=DAYS-1)

df_pas = df[ (df['date'] >= pas_st) & (df['date'] <= pas_ed)]
df_fet = df[ (df['date'] >= fet_st) & (df['date'] <= fet_ed)]

print(df_pas)
#         date  val
#17 2020-02-06   18
#18 2020-02-07   19
#19 2020-02-08   20

print(df_fet)
#         date  val
#20 2020-02-09   21
#21 2020-02-10   22
#22 2020-02-11   23

Comments

[SuzuAya]

>can110様
とても分かりやすくご回答くださり，本当にありがとうございます．
お返事が遅くなりまして申し訳ございません．
いただいたご回答を基に，今一度自分がやりたいことを整理し色々調べた結果，自己解決方法の欄に記入したコードで，やりたいことを（おそらく）実現することができました．
初心者の，的を射ない分かりにくい質問に対して根気強く丁寧に向き合ってくださり本当にありがとうございました．今後ともどうぞよろしくお願いいたします．

Answer 2

# カウンター初期化

import pandas as pd
import numpy as np
import xgboost as xgb
from sklearn.model_selection import GridSearchCV
from sklearn.metrics import mean_squared_error
import matplotlib.pyplot as plt
from sklearn.externals import joblib

df = pd.read_csv("data.csv")
#print(df.head)

# データを特徴量と目的変数に分ける
df_x = df
df_y = df[['感染者数']]

counter = 1

#  学習データの開始行番号
train_x_start = 0
train_y_start = 20

# 学習データの終了行番号
train_x_end = 20
train_y_end = 40

# スライドするデータ件数
slide_rows = 1

while True:
        
    # 行番号を指定して、元データから学習データを抽出
    train_x = df_x[train_x_start : train_x_end]
    train_y = df_y[train_y_start : train_y_end]
    print('train : ' + str(counter))
    print(train_x)
    print('')
     
    # xgboostモデルの作成
    reg = xgb.XGBRegressor()

    # ハイパーパラメータ
    params={'learning_rate': 0.1,
        'objective':'reg:squarederror', 
        'tree_method':'auto',
        'gamma': 1,
        'reg_alpha': 1,
        'verbose': 1,
        'max_depth': 6, 
        'min_child_weight': 1,
        # 一定ラウンド回しても改善が見込めない場合は学習を打ち切る
        'early_stopping_rounds':10
        }
    reg = xgb.XGBRegressor(**params)
    
    reg.fit(train_x, train_y)
    
       
    # データをスライドさせる
    train_x_start += slide_rows
    train_y_start += slide_rows
    train_x_end += slide_rows
    train_y_end += slide_rows
    print ('current train_x_start is', train_x_start)
    
    # カウンター加算
    counter += 1

    if train_x_start > 83:
      break

# 学習モデルの評価
pred_train = reg.predict(df_x[83:103])
print('RMSE for pred_train:', np.sqrt(mean_squared_error(train_y, pred_train)))

# モデルを保存
filename = 'Corona_Korea_0630_model1_Provonce No.1.sav'
joblib.dump(reg, filename)

# feature importance のプロット
#importances = pd.Series(reg.feature_importances_, index = boston.feature_names)
#importances = importances.sort_values()
#importances.plot(kind = "barh")
xgb.plot_importance(reg)
plt.title("importance in the xgboost Model")
plt.show()