Nvidia Tesla P40をPCに1台刺せば24GBのメモリを使用できますか

Question

前提

Tensorflowで学習させる際、Cudaで、Nvidea Qudro P2200 のGPUを使用していますが、メモリが5GBのためすぐ足りなくなります。

実現したいこと

Nvidia Tesla P40は24GBあります。デスクトップPCに1台刺せば24GBのメモリを使えるようになりますか？

Comments

[退会済みユーザー]

Nvidea Qudro P2200の「VRAM」が5GB
Nvidia Tesla P40の「VRAM」が24GB
デスクトップPCにNvidia Tesla P40を指せば、24GBの「VRAM」が使えるか？ということですか？
ご存じとは思いますが、VRAMとメインメモリは違いますので明確にした方が良いと思った次第です。
---
直ちにできる対策としてのVRAM不足対策は、バッチサイズを落とす、解像度を落とす、精度を32bitから16bitに落とす、のあたりです。TFv1の頃はメモリ節約モードみたいなのがありましたが今は分かりません。

[kaerun]

ご指摘ありがとうございます。
「専用GPUメモリ」のことです（タスクマネージャ）。
P2200では5GBであり、「バッチサイズを落とす、解像度を落とす」ことで対応しています。
今回、高解像度で学習をさせたくなりました。学習に時間がかかっても構いません。
専用GPUメモリが24GBにできるなら、確かめてみたいと思いました。

Answer 1

質問の本質が何か？

コメント欄から、話の本質がNNにおいて、解像度を上げた場合にちゃんと動作する学習環境を作るにはどうしたらよいか、にあると捉えました。

メモリがひっ迫する原因は一般に、以下のどれかと思います。

• バッチサイズが大きすぎる（すでに対策済み）
• 画像の解像度が高すぎる（すでに対策済み）
• 浮動小数点の桁が大きすぎる（現状不明: fp32-->fp16でだいぶ軽くなります）
• モデルが重すぎる（現状不明: これを触ると根本が変わってしまいます）

これに対し、「GPU/TPUのメモリを増強すれば動かせるのではないか？」ということでそこについて回答していきます。

回答

今回、高解像度で学習をさせたくなりました。学習に時間がかかっても構いません。
専用GPUメモリが24GBにできるなら、確かめてみたいと思いました。

24GBあれば足りる、という保証はありませんが、このお話であれば（コスト度外視とすれば）QuadroやTesla系のGPUを増設すればより巨大なデータを扱えるようになります。

y_waiwaiさんとのやり取りを見る限り、（現行）Quadro P2200に、（予定）Quadro P6000を増設（二枚刺し）という感じをしたいということでしょうか。何にせよGPUは高いですし、Quadro系のものはGeForce系のものよりも輪をかけて高価です。慎重になる気持ちは分かります。

NvidiaのGPUを購入するときに気にしたいことは、大方以下の感じではないでしょうか。

• コストパフォーマンス（今は度外視）
• GPUのメモリ・コア数
• スロットの空き状況とほかの物との干渉
• 消費電力（=廃熱/電源大丈夫？問題）
• CUDAの対応状況: Compute Capability

特に下３つは死活問題で、物理的にスロットと空間に空きがないと刺せませんし、電源コネクタに空きがないと給電できなかったり廃熱をうまく処理しないとシステムがクラッシュしたりしかねませんし給電能力に余裕がなければシステムが不安定になりますし、CUDAのCCのバージョンによってどのTensorflow/PyTorchが使えるかが縛られます。

Cumpute Capabilityのリスト

GPU	CUDA Compute Capability	コア	備考
Quadro P2200	6.1	Pascal
Quadro P6000	6.1	Pascal
Tesla P40	6.1	Pascal
GeForce RTX 3090Ti	8.6	Ampere	参考に新しいモデル

型番やシリーズの違い、販売時期などに違いはあると思いますが、提案されたものは全てCC6.1なので、基的にPC側から見れば「似たようなもの」として処理されそうです。

もし、「なら最新のRTXシリーズでメモリ24GBのようなモデルはあるしこれをブッコむか」をするのであれば、（ドライバとの相性的に）二枚刺しは止めて大人しく一枚にした方がイイかもしれません。CCが上のものはCCが下のものと互換性があるとは言われていますが、あまりに世代が違うと相性問題が起きても不思議ではないためです。

※ただし、私はNVIDIAの人間ではありませんので動作の保証は致しかねます。海外の掲示板を含め、可能な限り情報収集をしてからの購入をお勧めします。

Comments

[kaerun]

ご回答ありがとうございます。
私の今の悩み、起きうる問題点も指摘していただきました。
感謝いたします。

質問の本質が何か？：書かれた通りです！
・ fp32-->fp16：未確認です。
　これで、どの位まで画素を上げられるか、今後確認いたします。
・モデルが重すぎる：画素を落とすと学習できますが、細部の判断ができません。
　対象ごとに前処理等で工夫をするのではなく、大きな画素のままで学習してみたいです。
・高価です。慎重になる気持ちは分かります。：そこです（泣）

回答：
・（現行）Quadro P2200に、（予定）Quadro P6000を増設（二枚刺し）という感じをしたいと
　いうことでしょうか。：はい。P40であれば、P2200と２枚刺し（P40には表示が無いので）。
　P6000ならP2200に代えて１枚にしようと思います。
・スロットの空き状況とほかの物との干渉：HP Z820なのでいけそうです。
・消費電力（=廃熱/電源大丈夫？問題）：ボードの電源コネクタにPCの余りの電源コネクタを
　刺せば良いのでは、くらいに考えていました。

Cumpute Capabilityのリスト：ありがとうございます。どちらも使えそうですね。
・最新のRTXシリーズでメモリ24GBのようなモデルはあるしこれをブッコむ：
　できるならこれをしたいです（うう）
・可能な限り情報収集をしてからの購入をお勧めします：そのようにいたします！

ありがとうございました。

[退会済みユーザー]

分かる範囲で追補します。
> ・消費電力（=廃熱/電源大丈夫？問題）：ボードの電源コネクタにPCの余りの電源コネクタを
> 　刺せば良いのでは、くらいに考えていました。
一般論ですが、必要とされる電源の2倍くらいの供給能力を持った電源ユニットを付けておいた方が良いです。システムが350Wなら700W対応の電源ユニットのような感じです。なぜ、と言われると困ってしまいますが、前に詳しい人に聞いた時、「350Wの電源は常に350Wを給電しているというより、揺らぎの中で平均350W給電しているようなイメージ」と聞いたのでそのまま鵜呑みにしています。

今の構成のCPU、GPU、SSD（HDD)、メモリ、その他もろもろで大体何Wくらい食っているか（最大どれくらい食われるか）と、今の電源ユニットの給電能力を計算してからGPUを増設・交換するのがおすすめです。

[kaerun]

重ねてありがとうございます。
2倍くらいの供給能力：確認いたします。
Z820の電源は1125Wなので、検討せずに、いけるのではと考えていました。
抵抗でも、環境等を加味して２倍以上のW数のものを使え、といわれるので納得です。
100V電源ケーブルの電流も計れないか、検討します。

ありがとうございました。

Answer 2

デスクトップPCに1台刺せば24GBのメモリを使えるようになりますか？

なりません

Comments

[kaerun]

早速ご回答ありがとうございます。
webで検索したのですが情報が見つかりませんでした。
P40はサーバー用で表示機能はありません。
でも、使用中のp2200に加えてP40を刺せば、24GBが使えるようになるのでは、と期待しました。
やはり無理ですか…？

[kaerun]

Quadro P6000なら24GBが使えそうです。
しかし高価のため、導入したができなかった、は辛いです。
P6000は古いボードですが、今でも、Cudaで学習ができるのでしょうか？

[y_waiwai]

こんなところでぼやいてないで実際にやってみましょう
結果は報告してくださいね

[kaerun]

少額ならすぐに行うのですが、T40、P6000とも高額のため、お試し、が難しいです。
テストをしましたら、必ずご報告いたします。
ありがとうございました。