Q&A
spark-submitの起動オプションにある--filesに関する質問です。
オプションの説明に、各executorのワークディレクトリーに配布されるファイルを指定する。
とありますが、--files /tmp/text/a.txtのように指定した場合、
/tmp/text/のディレクトリが各executorに存在していなければならない認識です。
そのため事前にディレクトリを手動で作成しているのですが、
/tmp/text/のディレクトリが各executorに存在していない場合、
自動で作成してくれるような設定やオプションなど、何か方法はあるのでしょうか？
あなたの回答
tips
プレビュー
