質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.35%
データマイニング

データマイニングは、購買履歴やクレジットカードの利用履歴、電話の通話履歴など企業にある大量のデータを解析して、その中に隠れたパターンやルールを探し出す技術です。DMと略されることもあります。

Q&A

解決済

1回答

3413閲覧

データ分析、データマイニングのためのPCってつくれますか。

fu_3823

総合スコア81

データマイニング

データマイニングは、購買履歴やクレジットカードの利用履歴、電話の通話履歴など企業にある大量のデータを解析して、その中に隠れたパターンやルールを探し出す技術です。DMと略されることもあります。

0グッド

0クリップ

投稿2019/02/03 16:31

自作のPCを一台だけつくるとして、データ分析や仮想通貨のマイニングなどの
高負荷を高速で処理できるパソコンはつくれますか。

自宅のパソコンは、
i5-8600Kにメモリが16MBで、グラボはオンボードの自作マシンです。
kaggleのデータ分析にそれなりに使えてはいるのですが、やっぱり
力不足はいなめません。

kaggleのデータ分析と仮想通貨のマイニングに利用できるような
パソコンはつくれないか考えています。
金額は、ゲーミングパソコンの相場を踏まえて、30万円くらいを想定
しています。

一番の目的はkaggleでのデータ分析です。上位入賞を目指しているのではなく、
データ分析の勉強に利用したいのです。毎回、クラウドサービスの利用では
結構なお金がかかるので…。
ただ、仮想通貨のマイニングにも興味があり、おなじような部品構成で、適した
パソコンができるなら、これも勉強がてら試してみたいな思っています。

GPUが特定の計算が得意というぐらいしか前提知識はありません。
ただ、いろいろ調べましたが、GPUで計算させるにはCUDAなどが前提に
なるようでした。そもそもkaggleのコードをpythonで書いている時点で、
GPU利用の対象外なのでしょうか。


補足
GCPでそれなりのお金を出して、4コア、メモリ16MBのインスタンスを
作ったことがあります。
CPUとメモリだけだと、自宅の6コア16MBと数字上は大きく変わら
ない気がしています。それに、自宅でkaggleの計算をさせても、
CPUやメモリの利用率が30%以上にあがることはありません。
そう思うと、そもそも、高性能パソコンをつくることに意味が
ないような気もしています。ただ、上記のインスタンスでGCP
を利用したときは、それなりに高速だったようにも思います。
これは、googleと自宅のコンピュータとで、他の環境が違いすぎるから
でしょうか。

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

tiitoi

2019/02/03 16:37

GPU を使うかどうかはデータ分析に Deep Learning を使うかどうかによりますが、どうでしょうか? また仮想通貨のマイニングは試しにやってみたいだけなのか、採算が取れるように採掘したいのどちらでしょうか? (後者の場合、個人で採算が取れる採掘というのは現状難しいと思います。)
hayataka2049

2019/02/03 17:12

>メモリが16MB 四半世紀前のマシンですか・・・
guest

回答1

0

ベストアンサー

まず、マイニングは商業的に採掘している人たちですら採算割れになっている厳しい状況ですから、やめておいた方が良いです。


やりたいことが「データ分析」であれば、GPUパワーが要求されることは少ないと思います。一番大変な(であろう)前処理はCPUでやることになるし、分析系のライブラリもCPUで実行するように実装されていたりします。むしろCPUパワーの方が要ります。

「Deep Learning」をやりたいのであればGPU必須ですけど。

あとはデータの規模によって、大容量メモリが要るとか、もはやメモリには乗り切らないので高速ストレージがほしいとか、そういう話は出てくるでしょうね。

ということで、適当にCPUパワーがあって主記憶/補助記憶の強いパソコンで予算30万……という要件だと、CPUをRyzen Threadripperあたりにして他を適当に揃えれば良いんじゃないでしょうか。適当にBTOを探してみた感じ、たとえばこんなのがありますね。

iiyama STYLE-Q039-LCRT29-LNR [Windows 10 Home] | パソコン工房【公式通販】

自作するなら構成は適当にいじれるので、30万あれば16コア/32スレッドで「データ分析」に使えるマシンは一応作れるでしょう。処理スピードは今のマシンの2~3倍くらいにはなるんじゃないですかね(逆に言うとその程度にしかならないはず。ちゃんと並列化すべきは並列化したり、コード面でそれなりに気を配っての話です)。


とりあえず手持ちのマシンでCPUを100%使うコードを書くようにしないと、どんな高級マシン持ってきても宝の持ち腐れな気がします。30%に満たないということは、たぶんほぼ並列化してませんね。

投稿2019/02/03 17:32

編集2019/02/03 17:39
hayataka2049

総合スコア30935

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

fu_3823

2019/02/03 20:41

ありがとうございます。 確かに並列化のことは考えもせずコードを書いています。勉強しながら、マシンのことは考えてみたいと思います。
guest

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.35%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問