Q&A
> jupyternotebookはメモリの制限がありますか
そういう疑問を持つのは、同じコードをJupyterを使わずに直接Pythonで実行した場合はもっとメモリーを使うことを確認した上で、そうならないのはナゼ？ って思うからですか？
anacondaからjupyternotebokを起動して機械学習を行っています。
その際にCPUは大量に消費するのですが、メモリは全然使用していません。
これは普通なのでしょうか。
普通ではないのでは、解決策はありますでしょうか。
ちなみに、CPU8コア16スレッドあり、メモリは32Gですが、実際にメモリは6Gくらいしか使用されていません。処理時間は12時間以上かかっています。
##追加情報
予測部分のコードを以下に示します。
使用している訓練データのサイズは740kBです。
#学習を実行 xgbr = XGBRegressor(learning_rate=l, max_depth=d, n_estimators=n, random_state=0) xgbr.fit(X_train, y_train) #予測 y_pred = xgbr.predict(X_val)
なにを解決しようとしてるんでしょうか
https://www.tensorflow.org/tutorials/images/cnn
からノートブックをダウンロードして、当方のGPU無しWin 10パソコンでJupyter起動して、コードは無修正で実行したら、メモリー使用量は2GBも行きませんでしたが、「model.fit()」に「batch_size=10000」を追加して実行したら、メモリー使用量は増減しますが最大で4GBを超えました
「batch_size=15000」の場合は、最大で6GB弱まで行きました
当方でテストしたパソコンのメモリー容量が8GBなので、「batch_size」の数値はそれくらいまでしか指定できませんでしたが、質問者さんの環境
> メモリは32Gですが、
なら、もっと大きな数値(最大50000まで)を指定できますので、そうしたらたぶん
> メモリは6Gくらいしか使用されていません。
よりもメモリー使用量は増えると思います
以上のようにして、他のコードでメモリー使用量を確認してみたらいいと思いますよ
他のコードでなら、もっとメモリーが使われるのなら、現状の
> メモリは6Gくらいしか使用されていません。
になるのは、質問者さんが現在実行してるコードがそうなってるから、ということになりますよね
上記のテストをした時のCPU使用量は、「batch_size」指定に関わらず(メモリー使用量とは無関係に)、どの場合も目一杯使われました
なので、CPUは目一杯使われるけど、メモリー使用量はそれほどでもない、というコードの書き方はできます (使ってるデータや機械学習のアルゴリズム次第ですが)
> これは普通なのでしょうか。
コードを開示してくれないと分かりません
質問者さんが使ってるデータやアルゴリズムの性質から、必然的にそうなるのかもしれないし、設定やコードを見直したら変わるかもしれないし
> そういう疑問を持つのは、同じコードをJupyterを使わずに直接Pythonで実行した場合はもっとメモリーを使うことを確認した上で、そうならないのはナゼ？ って思うからですか？（jbpb0）
すみません。
そちらは検証していませんでした。
CPUとメモリはお互いに相関していると思っていたため、CPUが大量使用されているのに、メモリが全然使用されていないのは不自然だと感じたためです。
> なにを解決しようとしてるんでしょうか（y_waiwai）
処理を高速化したいためにメモリをもっと使用したいと考えています。
> jbpb0さん
ありがとうございます。
試してみます。
> 質問者さんが使ってるデータやアルゴリズムの性質から、必然的にそうなるのかもしれないし、設定やコードを見直したら変わるかもしれないし
設定は特にいじってないため初期設定のはずです。
コードは学習部分の情報を追加しました。
「X_train」と「y_train」のshapeを教えてください
あと、「XGBRegressor()」でパラメータを指定するのに使ってる「l」「d」「n」の内容も教えてください
X_train:(119, 288)
y_train:(119,)
です。
「l」「d」「n」の内容も教えてください
モデル作成時にfor文で回しているので変数になっています。
適当にデータをでっち上げて、再現させてみようと思うので、典型的なものでいいので、教えてください
```
set_learning_rate= [0.01,0.1,0.2,0.5]
set_max_depth = [x for x in range(1,50,1)]
set_n_estimators = [x for x in range(1,1000,50)]
for l in set_learning_rate:
for d in set_max_depth:
for n in set_n_estimators:
```
今使用しているのだとこのように上記のようにfor文を回しています。
> メモリは6Gくらいしか使用されていません。
は、「XGBRegressor()」を実行してるPythonのプロセスだけのメモリー使用量ですよね？
パソコンのメモリーのトータル使用量じゃないですよね？
あと、質問とは直接は関係無いですが、
> set_n_estimators = [x for x in range(1,1000,50)]
だと、「951」までしか計算されません
for x in range(1,1000,50):
print(x)
を(ちゃんとインデント付けて)実行したら分かりますが、1から始まって50ずつ足されるので、
1, 51, 101...901, 951
となります
951の次は1001で、1001まで計算するには
set_n_estimators = [x for x in range(1,1002,50)]
とする必要があります
同様に、
> set_max_depth = [x for x in range(1,50,1)]
だと、「49」までしか計算されません
> 「XGBRegressor()」を実行してるPythonのプロセスだけのメモリー使用量ですよね？
パソコンのメモリーのトータル使用量じゃないですよね？
すみません。トータルでした。
「XGBRegressor()」の実行だけですと、1Gくらいでした。
> 「XGBRegressor()」の実行だけですと、1Gくらいでした。
やはりそうですか
当方のWin 10パソコンのPythonで、mnistのデータ(28x28の画像データが60000サンプル)を1次元にして、「XGBRegressor()」で処理してみました
その場合の「X_train」のshapeは「(60000, 784)」となり、質問者さんの条件
> X_train:(119, 288)
よりも、かなり大きなものになりますが、それでもPythonのメモリー使用量は1〜2GBくらいにしかならず、
> メモリは6Gくらいしか使用されていません。
よりも少ないのは何でだろう？ と思ったもので
なお、パラメータは、条件が近くなるように、
> set_learning_rate= [0.01,0.1,0.2,0.5]
set_max_depth = [x for x in range(1,50,1)]
set_n_estimators = [x for x in range(1,1000,50)]
から、だいぶ粗く間引いて設定しました
また、Jupyterは使わず、コマンドプロンプト(ターミナル)上でPythonを起動して、そこで実行しました
「XGBRegressor()」は、Jupyterを使うかどうかには関係無く、そのくらいのメモリー使用量に収まるアルゴリズムなのだろうと思います
質問者さんも、Jupyterを使わない場合のメモリー使用量を確認してみてください
> 「XGBRegressor()」の実行だけですと、1Gくらいでした。
と大差無いと思います
また、私が最初の方のコメントで紹介したようなディープラーニングのコードを、「model.fit()」の「batch_size」の数値を変えながらJupyter上で実行して、Pythonのメモリー使用量を確認したら、Jupyter上の実行でもかなりのメモリーを使うことができることが分かると思います
なるほど
検証含めていろいろありがとうございます。
回答1件
0
ベストアンサー
当方のWin 10パソコンのPythonで、mnistのデータ(28x28の画像データが60000サンプル)を1次元にして、「XGBRegressor()」で処理してみました
その場合の「X_train」のshapeは「(60000, 784)」となり、質問者さんの条件
X_train:(119, 288)
よりも、かなり大きなものになりますが、それでもPythonのメモリー使用量は1〜2GBくらいでした
パラメータは、条件が近くなるように、質問者さんの条件
set_learning_rate= [0.01,0.1,0.2,0.5]
set_max_depth = [x for x in range(1,50,1)]
set_n_estimators = [x for x in range(1,1000,50)]
から、だいぶ粗く間引いて設定しました
また、Jupyterは使わず、コマンドプロンプト(ターミナル)上でPythonを起動して、そこで実行しました
Jupyterを使ってるからメモリー使用量が少ないのではなく、「XGBRegressor()」はそのくらいのメモリー使用量に収まるアルゴリズムなのだろうと思います
投稿2021/10/08 07:15
総合スコア7653
あなたの回答
tips
プレビュー
