GPUとCPUの並列処理について

Question

GPUとCPUのマシンを複数台もちいてHadoopのような並列分散処理を実行さようと考えています.
このようなシステムを組むことは可能なのでしょうか？
具体的な手法や開発環境を知っているかたがおられたらコメントをお願いいたします.

Answer 1

知っている限りでは、CUDAなどのGPUライブラリに複数PCの分散処理に関するサポートはなかったと思いますが、TCP/IPなどで通信プログラムが書ければ難しくないと思われます。

ただ、処理の粒度の選択は非常に重要で、あまり細かすぎると通信自体がボトルネックになってしまいます。

Answer 2

HPCクラスタということでしょうか?
そうであれば以下のページにオープンソースで実現できるようなことが記載されています。
https://thinkit.co.jp/story/2015/01/15/5525?page=0%2C1

GPUコンピューティングにはOpenCLとかCUDAとかが必要になると思います。
(インフラ系エンジニアなので、上記は推測です。すいません。)