lightGBMで重い学習をするとエラーも出ずに止まってしまう

Question

Jupyter Lab上でlightGBMで学習を行っているのですが、
重い学習を行うと、学習が終わる手前でエラーも出ずに「*」表示のまま動かなくなってしまいます。
cpuの使用率とメモリの使用率もゼロになっており、完全に止まっているようです。

num_boost_round=8000で100ごとに学習の経過を見れるようにしているのですが、
8000まで行って、ああ終わったなという所で止まります。
model = lgbm.train(～～～
とした行の次に進みません。

メモリが足りないのかと思いましたが、メモリの使用状況を見ると半分にも行っておらず余裕があるように見えます。

num_boost_round=8000だと止まるのですが、num_boost_round=100にすると動きます。
学習データのサイズは1GBほど、動いた時にモデルを保存すると3GB程度になります。
モデルのサイズが大きすぎると落ちるような気がしていて、その辺りを調べている所です。

エラーが出ないため原因の特定ができず途方にくれているのですが、
同じようなことになった方や、原因が思い当たる方はおりませんでしょうか。

Comments

[jbpb0]

Webブラウザではなくて、jupyter lab本体が動いてる方に、エラーメッセージが出てませんか？
本体が動いてる方とは、OSによって呼び方が違いますが、ターミナルとかコマンドプロンプトとかに文字表示がされてるものです

[maki7890]

ご質問ありがとうございます。
GCPから仮想マシンを借りて実行しているのですが、インスタンスのログを見ても特にその時間には何も表示されていません。

[toast-uz]

Jupyter Labではなくて、ターミナル上でコードを動かしてみると、どうなりますでしょうか？