機械学習で望ましい環境

Question

前提・実現したいこと

PythonでSSDや、波形の異常検知を行いたいと思っています。
環境を整えたいのですが、費用のこともあり悩んでいます。
以前、Pytorchによる、発展ディープラーニングという本を読んでコードを試していると、
メモリ不足で実行できないことがありました。
SSDで学習させようとすると以下のようなメッセージがでました。

発生している問題・エラーメッセージ

RuntimeError: [enforce fail at ..\c10\core\CPUAllocator.cpp:72] data. DefaultCPUAllocator: not enough memory: you tried to allocate 425852928 bytes. Buy new RAM!

調べたこと

発展ディープラーニングという本を読んで、GPUとメモリは64GB以上(少なくとも32GB)が望ましいと書いていました。
ぐぐると、使っているPCがSurface pro7でメモリの増設ができないので、あきらめることにしました。

SSDはあきらめましたが、波形の異常検知は会社のPCでやってみたいなと思っていますが、
スペックオーバのPCを買ってしまうのも勿体ない気がしています。

###質問
みなさん、どんなスペックのPCで機械学習していますか。
よく本では、JupyterNotebookやGoogle colaboratoryを使っていますが、
勉強じゃなくて実務で使っている方、どんな環境で使っていますか。
IDLE？
何冊か買っている勉強本には全然出てこないですが、Visual Studioってやつですか。
参考にしてみたいです。

######補足
google colaboratoryは会社のネットのセキュリティ上、アクセスできないのと、TKinter使えないのがつらいです。
AWSも課金のような使い方なので会社では使えないです。

Answer 1

みなさん、どんなスペックのPCで機械学習していますか。
ぐぐると、使っているPCがSurface pro7でメモリの増設ができないので、あきらめることにしました。

必要なスペックはやりたい事によると思います。
メモリの増設、パーツの交換など拡張を考えるなら、ミドルタワー以上のデスクトップパソコンがいいです。自作ではなく、BTO ショップで買うといいでしょう。機械学習のような重たい処理はノートパソコンには向いていません。
ディープラーニングをやる場合は GPU の選択が重要で、昨今のモデルは GPU メモリが結構必要なので、家庭用 GPU であれば、RTX 2070、RTX 2080、RTX 2080 Ti あたりになるでしょう。
それより安い GPU だとメモリが足りなくてモデルがそもそも GPU に乗らなくて動かせないということになります。

よく本では、JupyterNotebookやGoogle colaboratoryを使っていますが、
勉強じゃなくて実務で使っている方、どんな環境で使っていますか。

小規模なコードを試したりは Jupyter Notebook を使っています。
ある程度の規模のプログラムやスクリプトとして何度も使うようなコードは .py ファイルに書いてます。その場合はエディタは Visual Studio Code を使ってます。

あと、ディープラーニングをやるなら OS は Ubuntu がいいです。
理由は、機械学習やディープラーニングのコミュニティでは Ubuntu が広く使われているので、ネット上のコードやライブラリが Windows をサポートしていない場合が多いからです。

Comments

[tomomonX]

ありがとうございます。

Answer 2

今人気のMicrosoft vscodeでPython/Jyupyternote bookの拡張プラグインを使うと便利に使えます。

私は、少し古めのデスクトップ端末のメモリ増設・SSD環境にして

Linux mint64bitでMicrosoft vscodeでJyupyternote bookの環境を構築しています。

Linux Ubuntuが機械学習環境構築でいいと専門家の方がおっしゃっていました（You tubeですけど）。

私はLinux mintは動作がサクサクなので、自宅にある中古PCで色々実験しています。

Comments

[tomomonX]

ありがとうございます。大変参考になりました。