Q&A
ご質問の意味・意図がよくわからないです
学習を6ヶ月、検証を2ヶ月に分けたいならば日付をもとに分ければいいだけでは？
VARとかLSTMとかは関係ない問題かと思います。
#やりたいこと
時系列データを以下の図のように訓練データとテストデータを分割したいと考えています.
スライド期間は1個ずつなど, このようなことが出来るライブラリなど, あるいはコード, 参考になるwebサイト等ございましたら教えてください.
参考元url (https://pimientito-handson-ml.hatenablog.com/entry/2019/07/15/000955)
#調べたこと
時系列データの分析ということでTimeSeriesSplitについて調べました.
VAR, ＬSTM を使用した分析をしたいと思っているのですが, 学習に使うデータの量は一定で行いたいと思っているのでこれは当てはまらないかと考えております.
#追記: 問題設定
全部で500秒分のデータがあります. そこに訓練データは100秒固定でテストを1-100秒の予測を行います. 1秒先の予測誤差RMSEから100秒先まで
行い, これを一回の試行とします.
これを一回目は1-100秒のデータで, 2回目は2-101秒のデータ...と400回行います. [1-100のRMSE]の配列を400個用意し, 全体のデータに対して各手法のn秒後の予測精度として平均のRMSEはどれくらいかということを調べたいと思っております. 例えば1秒先をLSTMで学習データ100個で予測すると平均してRMSEが〇〇で予測できる, といったことを調べたいのです. そして最終的には各手法を予測時間とRMSEのグラフにして, n秒後以降を予測するならばこちらの手法の方が優れている, といったようなことを知りたいと思っております.
失礼いたしました. 改めて問題設定を追記させていただきました. 一度の学習の実行ではなく全体のデータに対して, 学習期間(1-100,2-101,3-102...)と変えてその予測精度をみていきたいと考えております. 現状, 普通のtrain_test_splitを使用すると訓練，テストデータのサイズ指定はできるので上記問題設定に書いたテスト期間1-100に変えるといったことはできるのですが, 学習位置を変えていく方法が分かりません．
train_test_split は指定した割合のデータをランダムに取得するものであり、今回の時系列の場合は使えませんね
時系列用の学習データ取得関数もあるかもしれませんが、ひとまずはdataframeの行を順番に取ってくれば良いと思いますがいかがでしょうか
train_test_splitではランダムにならないようshuffle=False として訓練サイズ固定, for文でテストサイズを1-100まで増やして使っております. 今できるのは全データから最初の100個の訓練データをもちいて次の101個目から200個目までの予測となっております. 全体のデータフレーム(例えば500行×64列, 目的変数系列は1列目)から訓練データの位置を1スライドずつどのように取得していけばいいのでしょうか. すみません, 具体的なfor文使ったアイデア等ありましたら教えていただけますでしょうか．
Pythonはどこまで学ばれているのでしょうか
df.iloc[i:j, :] のような感じで iからj-1行目まで取得すれば良いのではないでしょうか
これはかなり初期にやるべき基本中の基本と思いますが
こういう質問なのでしょうか
あなたの回答
tips
プレビュー
