機械学習での予測結果のファイル作成について

Question

機械学習のモデル作成後のコードです。

i=0
res=[]
step_size = 50000
for j in tqdm(range(int(np.ceil(test_df.shape[0]/50000)))):
    res.append(np.expm1(sum([model.predict(test_df.iloc[i:i+step_size]) for model in models])/folds))
    i+=step_size

このコード以下の流れで、提出用ファイルの目的変数を計算しているということはわかりました。
しかし、このコードのfor文の中でどのような計算が行われているのかよくわかりません。
評価指標はRMSLEです。

テスト用のテーブル数を50000で割るのはなぜでしょうか。
range(int(np.ceil(test_df.shape[0]/50000)))

また、それに続き、以下のコードは、どのような計算をしているのでしょうか。
np.expm1(sum([model.predict(test_df.iloc[i:i+step_size]) for model in models])/folds)

コード中の関数の意味はわかります。
test_df.iloc[i:i+step_size]
↑ここでどういうデータの取り方をしているのか、また、その意味がわからないので先に進めません。

test_df：テスト用目的変数のデータフレーム
models：モデルの配列
folds：folrd数＝5

部分を抜き出したコードで、分かりにくいようでしたら、追記致します。

Answer 1

テスト用のテーブル数を50000で割るのはなぜでしょうか。

これだけ見て断言はできませんが，50000はstep_sizeだと思います．書き換えたほうが可読性が上がります．

コード中の関数の意味はわかります。
test_df.iloc[i:i+step_size]
↑ここでどういうデータの取り方をしているのか、また、その意味がわからないので先に進めません。

これはスライスです．test_dfのi行目からi+step_size-1行目までの（ここで，i+step_sizeは含まれない）データをモデルに入力しています．
要は，テストデータを一つずつ予測すると時間がかかるので，ある程度をまとめて予測しています．（多分）

Comments

[fu_3823]

ありがとうございます。
ご指摘の点ですが、確かにテーブルのデータ数は20000000行以上あります。ただ、ある程度をまとめて予測せずに
model.predict(test_df)
としてしまった方が簡潔で楽だと思うのですが、これではいけない理由があるのでしょうか。
考えつくのは、クラウド環境のインスタンスや、kaggleやcolaboratoryの使用可能メモリの限界くらいですが、そのためにこの程度のデータを分割することなどありますか。

[spoofy_dragon]

私自身kaggleに詳しいわけではありませんが，クラウド環境で実行するならメモリなどの制約が強いので分割するのは自然なことだと思います．20000000行は十分大きい．
まぁ，50000という数字はマジックナンバーでしょうけど．．．

[fu_3823]

ありがとうございます。
一度、コードを書き換えるなりして実験してみます。
参考になりました。