質問するログイン新規登録

Q&A

0回答

2279閲覧

Sparkでのエラー(ERROR YarnScheduler)について

zairu_1984

総合スコア10

Amazon Elastic MapReduce

Amazon Elastic MapReduce(Amazon EMR)は、 Amazonが社が提供する 大量のデータを迅速、容易に処理が可能なウェブサービスです。

Spark

Spark(Apache Spark)とは、膨大なデータを迅速、柔軟に分散並行処理を行うフレームワークです。分析ツールであるApache Hadoopと比較し、最大で100倍の速度でデータ処理ができるとされています。

0グッド

0クリップ

投稿2016/08/25 04:51

編集NaN/aN/aN aN:aN

0

0

###前提・実現したいこと
Spark 1.6.2にて多量なデータを処理しているのですが、以下エラーメッセージがあり処理が失敗してしまいます。
どのような対処が必要でしょうか?
処理するデータの件数を抑えることで処理が正常に終わるので、メモリが起因ではないかと考えていますが、
どのパラメータをいじることで解決できるかがわかりません。

###発生している問題・エラーメッセージ

ERROR YarnScheduler: Lost executor 4 on AAAAAAA: Container marked as failed: container_1472036277489_0003_01_000007 on host: AAAAAA. Exit status: 137. Diagnostics: Container killed on request. Exit code is 137 Container exited with a non-zero exit code 137 Killed by external signal

###試したこと
spark-submit --excutor-memoryや--driver-memoryを調整している。

###補足情報(言語/FW/ツール等のバージョンなど)
Spark 1.6.2
EMR 4.7.2

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

guest

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

まだ回答がついていません

会員登録して回答してみよう

アカウントをお持ちの方は

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.29%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問