質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.37%
Amazon Elastic MapReduce

Amazon Elastic MapReduce(Amazon EMR)は、 Amazonが社が提供する 大量のデータを迅速、容易に処理が可能なウェブサービスです。

Spark

Spark(Apache Spark)とは、膨大なデータを迅速、柔軟に分散並行処理を行うフレームワークです。分析ツールであるApache Hadoopと比較し、最大で100倍の速度でデータ処理ができるとされています。

Q&A

0回答

2141閲覧

Sparkでのエラー(ERROR YarnScheduler)について

zairu_1984

総合スコア10

Amazon Elastic MapReduce

Amazon Elastic MapReduce(Amazon EMR)は、 Amazonが社が提供する 大量のデータを迅速、容易に処理が可能なウェブサービスです。

Spark

Spark(Apache Spark)とは、膨大なデータを迅速、柔軟に分散並行処理を行うフレームワークです。分析ツールであるApache Hadoopと比較し、最大で100倍の速度でデータ処理ができるとされています。

0グッド

0クリップ

投稿2016/08/25 04:51

編集2016/08/25 14:55

###前提・実現したいこと
Spark 1.6.2にて多量なデータを処理しているのですが、以下エラーメッセージがあり処理が失敗してしまいます。
どのような対処が必要でしょうか?
処理するデータの件数を抑えることで処理が正常に終わるので、メモリが起因ではないかと考えていますが、
どのパラメータをいじることで解決できるかがわかりません。

###発生している問題・エラーメッセージ

ERROR YarnScheduler: Lost executor 4 on AAAAAAA: Container marked as failed: container_1472036277489_0003_01_000007 on host: AAAAAA. Exit status: 137. Diagnostics: Container killed on request. Exit code is 137 Container exited with a non-zero exit code 137 Killed by external signal

###試したこと
spark-submit --excutor-memoryや--driver-memoryを調整している。

###補足情報(言語/FW/ツール等のバージョンなど)
Spark 1.6.2
EMR 4.7.2

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

guest

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

まだ回答がついていません

会員登録して回答してみよう

アカウントをお持ちの方は

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.37%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問