複数の計算機サーバをまとめて使えるようにする方法

Question

機械学習、インフラ共に初学者です。

私が在学している学校の研究室では4台の計算機サーバ(各TitanX1枚)が稼働しています。
現在は、サーバを使いたい人が申し出て一人に対し一つのサーバが割り当てられるというような状況で、計算資源がかなり無駄になってしまっています。

そこで、ジョブ(機械学習のタスクなど)を投げる用のサーバを立ててそこから各計算機サーバに分散させるというような技術を探しています。

もしそういったサービスやシステムなどがあればお教えいただきたいです。
よろしくお願いします　m(__)m

Answer 1

実際のご利用の用途にあうかどうか分かりませんが、使用例としては Nomad というツールで実現できそうな気がしました。他の分散環境のシステムに比べ、環境構築や操作などが比較的に容易なためです。

Nomad by HashiCorp
https://www.nomadproject.io/

以前であれば Apache Mesos が近い役割を果たしていました。コンテナに特化するのであれば、Docker の swarm mode や kubernetes なども選択肢に入ってきます。