Python XGBoost "Size of labels must equal to number of rows."エラーについて

Question

前提・実現したいこと

現在、XGBoostを使って回帰モデルを作成しています。
使っているデータは韓国の1月～6月までの新型コロナ感染者に関するもので、年齢や性別や居住地といった特徴量を入力し、韓国の地域ごとの将来の感染者数の予測を出力するということをやっています。

今までは，以下の検証を行っていました．
・20日間の1日ごとの年齢や性別や居住地といった特徴量を入力し，翌20日間の「1日ごとの」感染者の予測人数を出力する

今回，以下のことを行いたいと思っています．
・20日間の1日ごとの年齢や性別や居住地といった特徴量を入力し，翌20日間の「合計の」感染者の予測人数を出力する」

ただし，入力データと正解値の数が合わないというエラーが発生してしまっています．
上記のことを実践するためには，コードをどのように修正すれば良いかご教示頂けないでしょうか．
そもそも，XGBoostではそういったことはできないということであれば，その旨をご教示頂けますと大変助かります．

発生している問題・エラーメッセージ

---------------------------------------------------------------------------
XGBoostError                              Traceback (most recent call last)
<ipython-input-14-c548977e730d> in <module>()
     74 
---> 75     reg.fit(train_x, train_y)

4 frames
/usr/local/lib/python3.6/dist-packages/xgboost/core.py in _check_call(ret)
    186     """
    187     if ret != 0:
--> 188         raise XGBoostError(py_str(_LIB.XGBGetLastError()))
    189 
    190 

XGBoostError: [07:21:58] ../src/data/data.cc:530: Check failed: labels_.Size() == num_row_ (1 vs. 20) : Size of labels must equal to number of rows.
Stack trace:
  [bt] (0) /usr/local/lib/python3.6/dist-packages/xgboost/lib/libxgboost.so(+0xa5dc4) [0x7f46ea6b7dc4]
  [bt] (1) /usr/local/lib/python3.6/dist-packages/xgboost/lib/libxgboost.so(+0x106c92) [0x7f46ea718c92]
  [bt] (2) /usr/local/lib/python3.6/dist-packages/xgboost/lib/libxgboost.so(+0x1a84b7) [0x7f46ea7ba4b7]
  [bt] (3) /usr/local/lib/python3.6/dist-packages/xgboost/lib/libxgboost.so(+0x1aae4e) [0x7f46ea7bce4e]
  [bt] (4) /usr/local/lib/python3.6/dist-packages/xgboost/lib/libxgboost.so(XGBoosterUpdateOneIter+0x55) [0x7f46ea6a9f35]
  [bt] (5) /usr/lib/x86_64-linux-gnu/libffi.so.6(ffi_call_unix64+0x4c) [0x7f47287a4dae]
  [bt] (6) /usr/lib/x86_64-linux-gnu/libffi.so.6(ffi_call+0x22f) [0x7f47287a471f]
  [bt] (7) /usr/lib/python3.6/lib-dynload/_ctypes.cpython-36m-x86_64-linux-gnu.so(_ctypes_callproc+0x2b4) [0x7f47289b85c4]
  [bt] (8) /usr/lib/python3.6/lib-dynload/_ctypes.cpython-36m-x86_64-linux-gnu.so(+0x11c33) [0x7f47289b8c33]

該当のソースコード

import pandas as pd
import numpy as np
import xgboost as xgb
from sklearn.model_selection import GridSearchCV
from sklearn.metrics import mean_squared_error
from sklearn.multioutput import MultiOutputRegressor
import matplotlib.pyplot as plt
from sklearn.externals import joblib

df_x = pd.read_csv("Corona Korean data_by day_as of 0630.csv")# 1日ごとの年齢や性別や居住地といった特徴量
df_y = pd.read_csv("Corona Korean data_trainY_as of 0630.csv")# 20日間の「合計の」感染者数

print(df_x.head)
      Day  male  female  Sex_NA  ...  city No. 154  city No. 155  city No. NA  PCR
0      1   0.0     1.0     0.0  ...           0.0           0.0          1.0  0.0
1      2   0.0     0.0     0.0  ...           0.0           0.0          0.0  0.0
2      3   0.0     0.0     0.0  ...           0.0           0.0          0.0  0.0
..   ...   ...     ...     ...  ...           ...           ...          ...  ...
82  83   NaN     NaN     NaN  ...           NaN           NaN          NaN  NaN
83  84   NaN     NaN     NaN  ...           NaN           NaN          NaN  NaN

[84 rows x 245 columns]>

print(df_y.head)
     Start_day  Province No. 1  ...  Province No. 16  Province No. 17
0    21              71  ...               64               16
1    22              76  ...               74               16
2    23              79  ...               81               19
..  ...             ...  ...              ...              ...
82  103               7  ...              122                8
83  104               6  ...              124                9

[84 rows x 18 columns]>

# データを特徴量と目的変数に分ける
df_x = df_x
df_y = df_y[['Province No. 1']]

# カウンター初期化
counter = 1

#  学習データの開始行番号
train_x_start = 0
train_y_start = 0

# 学習データの終了行番号
train_x_end = 20
train_y_end = 1


# スライドするデータ件数
slide_rows = 1

while True:
        
    # 行番号を指定して、元データから学習データを抽出
    train_x = df_x[train_x_start : train_x_end]
    train_y = df_y[train_y_start : train_y_end]

    params = {'objective': 'reg:squarederror', 'tree_method': 'auto', 'min_child_weight':1, 'max_depth': 2, 'gamma':1, 'reg_alpha': 0, 'n_estimators':100}

    reg = xgb.XGBRegressor(**params)
    reg.fit(train_x, train_y)

    filename = 'Province_1_model_train{}'.format(train_x_start)
    reg.save_model(filename)

    # データをスライドさせる
    train_x_start += slide_rows# train_start += slide_rows
    train_y_start += slide_rows
    train_x_end += slide_rows# train_end += slide_rows
    train_y_end += slide_rows
    
    # カウンター加算
    counter += 1

    reg.load_model(filename)  # load data

    if train_x_start > 84:
      break

# 性能向上に寄与する度合で重要度をプロットする
_, ax = plt.subplots(figsize=(12, 4))
xgb.plot_importance(reg, ax=ax)
plt.show()

試したこと

kaggleやXGBoostの公式サイトで，私がやりたいことと同様のケースがないか探していますが，今のところ見つけられていません．

Answer 1

XGBoostというより機械学習の学習の仕方の問題です
プログラムで示された方法でできるアルゴリズムはありません

機械学習は
y_1 x1_1, x2_1, ..., xn_1
y_2 x1_2, x2_2, ..., xn_2
...
の様に目的変数1つに対して説明変数を1つ以上とした1行の組み毎に学習します。
例示いただいたプログラムですと目的変数に対して説明変数20行を当てはめようとしてエラーとなっています。
これはXGBoostでなくとも出来ません。
目的変数に対して20行の説明変数が全て必要ならばそれを横1行に展開して与える必要があります。

1つのやり方としては20日間の実績値を機械的に1行にする、というものです。
ただ、予測したいデータに対してこれでよいかは分かりません。20日前の値よりも1日前の値の方が効果あるなど
重み付けをした方がよいかもしれませんが、それは学習の調整の一つとなります。

また、時系列の効果を加味するならばXGBoostではなくARIMAなどの時系列モデルの方が良いかもしれません。
これはデータによりけりなので一般的にこれが正解というものはありません。

まぁまず着手してみる方法としては機械的にできる、
1つのやり方としては20日間の実績値を機械的に1行にする
ところからかなと思います。

Comments

[SuzuAya]

>aokikenichi様
ご丁寧なご回答をありがとうございます！やっぱり，こういったことはできないんですね．アルゴリズムをご丁寧にご教示くださりましてありがとうございました．なんとか理想に近い形でできるように引き続き模索してみます．