CPUとGPUの演算処理について

Question

勉強中の学生です。
CPUはif文などの分岐といった複雑な処理できることやGPUは単純な計算をするのが得意という特徴は分かったのですが普段の計算時はどちらが使われているのでしょうか。
どちらも演算処理を出来てGPUもCPUのような働きができると聞きます。

両方を適材適所に割り当てて計算を行っているのでしょうか。
それともプログラミングのコードで計算をGPUで行うかCPUで行うのかを指定しなければならないのでしょうか。

機械学習の学習部分といったGPUに向いている処理はちゃんとGPUが行っているのでしょうか。

質問が多くて申し訳ありませんが調べてみもCPUとGPUの違いを説明しているサイトしか出てこなかったので質問させていただきました。
よろしくお願いします。

Comments

[cateye]

>両方を適材適所に割り当てて計算を行っている・・・誰がですか？

[comet0310]

OSですかね・・・すいません、分からないです。

[t_obara]

なぜその様な疑問を持ったのかを提示されると希望にあった回答を得られやすくなるのではないかと思います。すでに回答が得られているのであれば良いですが。

Answer 1

プログラミングのコードで計算をGPUで行うかCPUで行うのかを指定しなければならないのでしょうか。

そうです。
マルチコアCPUだって、並列計算させる為には、そのようにプログラミングされる必要があります。
OSが関与するのはプロセスをCPUコアに対して割り当てを行うだけですから、アプリケーション=１プロセスなら並列動作などは行われません。

高速に計算させる為の並列計算ですが、並列計算の為のコア数がGPU>CPUなので、最近持て囃されている訳です。
以下参考
なぜGPUは機械学習に役立つのですか？

Answer 2

私の関連分野でも大容量データの高速計算の需要が近年とみに高まっており、自分でもGPUの活用でこれにうまく対処できないかと勉強してみたことがあります。

CUDAの本を見ながら数日かけて見様見真似でCのコードを書いてみたところ、いちおう計算はできているようでしたが、30分でこしらえた普通にCPUを使うperlのスクリプトのほうが数十倍高速という結果に終わりましたorz。

ウェブサイトを見ると、とにかくコアがたくさんあるから最強みたいな記述に終始している文章ばかりがヒットします。ところが、実際にはワープとかいう制約があるらしくて、これをクリアするようにしないと、結局せっかくのGPUコアも大半ぼさっと時間待ちをしているということになってしまうようです。

結論としては、

GPUのコアが10000個あればCPUの10000倍効率的に計算が進行するというような単純な話ではない。並列処理を効率的にさせるためにはGPUの構造をしっかり理解した上で適切にそれようのコードを作らなければならず、これを素人が我流でこなすのは実質的に不可能。

私は上記のことで心が折れ、他の業務との兼ね合いもありこの試みを凍結してしまいました。しかし、pythonなどでは裏でいい感じにGPUを活用するようにお膳立てしてくれるモジュールがあるようです。使い物になるのか経験者の話をこの機会に伺いたいところです。

Answer 3

普段の計算時はどちらが使われているのでしょうか。

CPU が使われています。

両方を適材適所に割り当てて計算を行っているのでしょうか。
それともプログラミングのコードで計算をGPUで行うかCPUで行うのかを指定しなければならないのでしょうか。

GPU で計算させるには、コードで指定する必要があります。

機械学習の学習部分といったGPUに向いている処理はちゃんとGPUが行っているのでしょうか。

記述されたコードによるので、CPU で処理している場合もあります。