AWS Glue Job をStep Functionsで並列に実行するとエラーになり原因がわかりません

Question

実現したいこと

AWS Step Functions でGlue Job を複数並列で動かしたいですが
エラーが出ており、その原因がわかりません

どなた様か、何かアドバイス頂けますでしょうか？
ご確認いただければ幸いです

前提

Step Functionsではマシンステートが完了していますが
Glue Jobのログを見ると、エラーが出ています

３つのGlue Jobを動かしていますが
どのエラーも『⚫️⚫️⚫️のカラムがない』となっていますが、存在しています

スクリプト内でprint() している箇所を見ると
確かにカラムが存在しません。スキーマが読み込めていないです

Glue Jobを単体で動かしたり
Step Functionsでエラーが出ているGlue Jobを1つだけ実行すると完了します

〜〜〜〜〜〜〜〜〜〜〜〜〜〜【確認画像１】〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜

〜〜〜〜〜〜〜〜〜〜〜〜〜〜【確認画像２】〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜

〜〜〜〜〜〜〜〜〜〜〜〜〜〜【確認画像３】〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜

発生している問題・エラーメッセージ

AnalysisException: Column '-------id' does not exist. Did you mean one of the following? [];. Note: This run was executed with Flex execution. Check the logs if run failed due to executor termination.

該当のソースコード

ソースコード

試したこと

Did you mean one of the following?　で検索したり
Glue Job の並列実行での注意点
などで検索しましたが、似た様な事例や解決方法が見つかっておりません

bookmark が怪しかと思い、有効・無効で動かしてみましたが
ここではなさそうでした

補足情報（FW/ツールのバージョンなど）

SparkのGlue Job で バージョンは 4.0 です。PySparkで記述しています

Answer 1

こちら解決しました。Step Functions側で、
タスクが完了するまで待機　という箇所にチェックを入れておりませんでした・・・
基本的な所を理解できておりませんでした