質問編集履歴
1
マシーンos記入
title
CHANGED
|
@@ -1,1 +1,1 @@
|
|
|
1
|
-
spark yarn-clientモードで円周率の計算
|
|
1
|
+
spark yarn-clientモードで円周率の計算でエラー
|
body
CHANGED
|
@@ -1,5 +1,13 @@
|
|
|
1
|
-
spark環境を構築したのですが、(yarnとhdfsを使用)円周率を計算するというコードが終了しません。（ずっと同じメッセージが1秒置きにながれる 最下部参照）
|
|
1
|
+
spark環境を構築したのですが、(yarnとhdfsを使用)円周率を計算するというコードが終了しません。（ずっと同じメッセージが1秒置きにながれる 最下部参照）解決方法をご存じの方がいたら教えて頂きたいです。
|
|
2
2
|
|
|
3
|
+
構成
|
|
4
|
+
centos6.5 spark-client spark-master
|
|
5
|
+
hadoop-yarn-resourcemanager
|
|
6
|
+
hadoop-hdfs-namenode
|
|
7
|
+
centos6.2 spark-worker
|
|
8
|
+
hadoop-yarn-nodemanager
|
|
9
|
+
sudo service hadoop-hdfs-datanode stop
|
|
10
|
+
|
|
3
11
|
--master local では計算がうまく終了しました。
|
|
4
12
|
--master yarn-client で分散処理をさせたいのですがこのようなエラーとなりました。
|
|
5
13
|
|