自宅でビッグデータ解析，数値計算を行う環境構築をしたい

Question

自宅でビッグデータ解析を行うlinuxベースの環境構築をしたいと考えています．
三次元の数値流体モデルを計算，データ解析といった科学研究を行うことが目的です．
ディスクは5TBほど必要としています．開発環境はpythonをベースです．

レンタルサーバー，クラウドサーバーを借りる，サーバーを自作で組み立てるなど，色々な選択肢があると思うのですが，何がおすすめでしょうか？
ざっくりした質問で申し訳ないのですが，同じようなことをしている方，おられましたら意見を頂戴したいです．

よろしくお願いいたします．

Answer 1

「三次元の数値流体モデルを計算，データ解析といった科学研究」という用途から見てGPU（またはその他のアクセラレータ）必須だと思うので、そこそこハイスペックなGPUマシンを調達するという観点でお答えします。
そうなると選択肢は自作かクラウドサービスなのですが（従量課金でないいわゆる「レンタルサーバー」ではGPUマシンはないかもしれません）、感覚的にはどちらかというとクラウドサービスのほうが人気のようです。
まずはAmazon EC2 p2.xlargeを借りてみて（回し者ではない）、数ヶ月〜1年ほど様子を見ながら他のクラウドサービスや自作を検討する、という感じでしょうか。
https://aws.amazon.com/jp/ec2/instance-types/p2/
実際どれが安く上がるかというのはやってみないと分からない（やってみても分からない）ので、とりあえずエイヤで始めてみるのがいいかもしれないですね……

Answer 2

こんにちは。

結局、コストとの兼ね合いなので、初期費用とランニング・コストをどの程度負担可能か？　１セット処理の望ましい処理期間（数分～数日？）　その処理環境を維持する期間や稼働率はどうか？　等を見比べて判断することになると思います。

例えば、32コアの化物CPUを搭載したようなPCが個人でも手がとどかないわけではない程度まで価格が下がってきています。http://blog.livedoor.jp/wisteriear/archives/1071978471.html#jump6

この辺に目一杯メモリを積んだPCを買う場合と、似たようなスペックになるようレンタルサーバやレンタルPCを借りる場合で比較してみるのも手でしょう。（詳しくはないのですが、同程度のコア数／台のようなレンタルサーバはなかなか見つからないかも。その時は複数台借りることになりますがソフト開発に超苦労する可能性もあります。）
「２～３ヶ月しか稼働しないなら恐らくレンタル、1年以上稼働するなら購入で、予算の許す限り高性能なもの」に落ち着くような予感です。

Answer 3

あくまでも個人的な経験に基づく見解ですが。
まずはお金や手間のかからない方法を試し、不満が出てきたらステップアップを考えればいいのではないでしょうか。

となれば最初に思いつくのはwindows10マシンにWSLを入れることですね。ディスクは外付けUSB3対応のHDDを調達すれば解決です。
次がVMwareやVirtualBoxなどの導入です。
さらにいろいろやりたくなってきたら、自分専用のlinuxマシンを組み立てることです。パーツは、たいていの場合型落ちの安い奴で十分です。ただし、電源ユニットは信頼性の高いものを選ぶこと。もちろん、使いたいと思っているソフトがどれくらいのハードウェア（メモリ・ディスク容量など）を要求しているかは確認して、余裕は持たせること。さきに仮想環境を試していれば、その辺の仕様を固める際の参考にできます。

レンサバやクラウドサーバを検討するのは、やるべきことが具体化してからだと思います。そうでなければお金をどぶに捨てるだけの結果に陥るのが関の山です。

Comments

[loreeeee]

お返事がすっかり遅くなってしまい申し訳ございません。ひとまず自作専用のマシンで対応することといたしました。今の所クラウドサーバーまでは必要としておりませんため、しばらくは今のままで運用していく次第です。アドバイスいただきありがとうございました。