Sparkをyarn-clusterモードで実行中,ファイルにアクセスする箇所があり,
アクセス権限がない場合(パーミッションエラー),IOExceptionを発生させるようにしているのですが,
権限がなくアクセスできないにもかかわらずyarn-clusterのタスク実行結果はSUCCESS(IOException発生せず)となります。
アクセス権限がない場合はきちんとIOExceptionを発生してタスクFailureという挙動をさせたいのですが,
良い方法はないでしょうか。
たぶん,Sparkのリトライ機能が影響していると思うのですが。
リトライをさせないという設定をするのは無しでよろしくお願いいたします、
あなたの回答
tips
プレビュー