###前提・実現したいこと
Spark 1.6.2にて多量なデータを処理しているのですが、以下エラーメッセージがあり処理が失敗してしまいます。
どのような対処が必要でしょうか?
処理するデータの件数を抑えることで処理が正常に終わるので、メモリが起因ではないかと考えていますが、
どのパラメータをいじることで解決できるかがわかりません。
###発生している問題・エラーメッセージ
ERROR YarnScheduler: Lost executor 4 on AAAAAAA: Container marked as failed: container_1472036277489_0003_01_000007 on host: AAAAAA. Exit status: 137. Diagnostics: Container killed on request. Exit code is 137 Container exited with a non-zero exit code 137 Killed by external signal
###試したこと
spark-submit --excutor-memoryや--driver-memoryを調整している。
###補足情報(言語/FW/ツール等のバージョンなど)
Spark 1.6.2
EMR 4.7.2
あなたの回答
tips
プレビュー