Dockerのコンテナオーケストレーションを調べているのですが、
沢山のツールがあり何を使うべきなのか迷っています。
コンテナの用途はデータの加工です。
インターネット側から1日に数百GB(100~300GB)のテキストデータが送信されてくるのですが、
そのデータをコンテナに処理させたいです。
コンテナ起動時にファイルの情報を渡して処理を開始させ、
データの加工が終了すると同時にコンテも終了させようとしています(1つのコンテナにデータを1つ処理させたり、処理が終わったらコンテナを終了させる)。
それを、全てのデータの処理が終わるまで、何度もループさせようとしています。
コンテナの中ではファイルの読み書き・RDBMSの関連のシンプルな処理が走ります。
処理するデータは沢山ありますが、データ1件(100MB)あたりの処理時間は10~20分程度です。
Kubernetesはデファクトスタンダートということで、こちらを調べ始めたのですが今回の用途とは違うような気がしています。
Kubernetesはサーバをスケールアウトさせるのに特化しているように見えます。
今回のような用途では、どのコンテナオーケストレーションを使うべきなのでしょうか?
あなたの回答
tips
プレビュー