###前提・実現したいこと
Apache Spark1.6.2でバッチアプリを作成しています。
Spark Standalon Modeでクラスタ環境を構築しています。
やりたい事は、
- Aジョブをspark-submitする
- Aジョブが正常終了したら、後続ジョブとしてBジョブをspark-submitする
※spark-submitはcluster modeで実行
以下のようにapi実行でspark-submitして、responseからsubmissionIdを取得し、
定期的にそのsubmissionIdからジョブが終わったかどうかを確認して、
後続ジョブを実行すればできそうな気はしたんですが、
https://gist.github.com/arturmkrtchyan/5d8559b2911ac951d34a
もう少し簡単に、シェルスクリプトだけでうまく実現できないものかと思いまして、質問させて頂きました。
あなたの回答
tips
プレビュー