質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.50%
Hadoop

Apache Hadoopは大規模なデータの分散処理をサポートするJavaソフトウェアフレームワークです。Hadoopを利用すると、数千ノードおよびペタバイト級のアプリケーションデータを処理することができます。

Spark

Spark(Apache Spark)とは、膨大なデータを迅速、柔軟に分散並行処理を行うフレームワークです。分析ツールであるApache Hadoopと比較し、最大で100倍の速度でデータ処理ができるとされています。

Q&A

解決済

1回答

2734閲覧

spark yarn-clientモードで円周率の計算でエラー

Day

総合スコア10

Hadoop

Apache Hadoopは大規模なデータの分散処理をサポートするJavaソフトウェアフレームワークです。Hadoopを利用すると、数千ノードおよびペタバイト級のアプリケーションデータを処理することができます。

Spark

Spark(Apache Spark)とは、膨大なデータを迅速、柔軟に分散並行処理を行うフレームワークです。分析ツールであるApache Hadoopと比較し、最大で100倍の速度でデータ処理ができるとされています。

0グッド

0クリップ

投稿2016/03/05 06:53

編集2016/03/05 07:12

spark環境を構築したのですが、(yarnとhdfsを使用)円周率を計算するというコードが終了しません。(ずっと同じメッセージが1秒置きにながれる 最下部参照)解決方法をご存じの方がいたら教えて頂きたいです。

構成
centos6.5 spark-client spark-master
hadoop-yarn-resourcemanager
hadoop-hdfs-namenode
centos6.2 spark-worker
hadoop-yarn-nodemanager
sudo service hadoop-hdfs-datanode stop

--master local では計算がうまく終了しました。
--master yarn-client で分散処理をさせたいのですがこのようなエラーとなりました。

http://stackoverflow.com/questions/30828879/application-report-for-application-state-accepted-never-ends-for-spark-submi
同じようなエラーが出ている人がいるようですが、
yarn.scheduler.capacity.maximum-am-resource-percent
を0.1 から 0.5 に変更(その後hdfsとyarnを再起動)しても変わらず同じエラーでした

参考

root#sudo -u yarn yarn node -list -all 16/03/05 15:42:47 INFO client.RMProxy: Connecting to ResourceManager at neptune/192.168.xx.xx:8032 Total Nodes:1 Node-Id Node-State Node-Http-Address Number-of-Running-Containers uranus.local:37893 RUNNING uranus.local:8042 4

root# sudo -u hdfs hdfs dfsadmin -report Configured Capacity: 1934210695168 (1.76 TB) Present Capacity: 1516678750208 (1.38 TB) DFS Remaining: 1512227303424 (1.38 TB) DFS Used: 4451446784 (4.15 GB) DFS Used%: 0.29% Under replicated blocks: 72 Blocks with corrupt replicas: 0 Missing blocks: 0 Missing blocks (with replication factor 1): 0 Live datanodes (1): Name: 192.168.xx.yy:50010 (uranus) Hostname: uranus.local Decommission Status : Normal Configured Capacity: 1934210695168 (1.76 TB) DFS Used: 4451446784 (4.15 GB) Non DFS Used: 417531944960 (388.86 GB) DFS Remaining: 1512227303424 (1.38 TB) DFS Used%: 0.23% DFS Remaining%: 78.18% Configured Cache Capacity: 0 (0 B) Cache Used: 0 (0 B) Cache Remaining: 0 (0 B) Cache Used%: 100.00% Cache Remaining%: 0.00% Xceivers: 1 Last contact: Sat Mar 05 15:43:51 JST 2016


以下 エラー内容 $ ${SPARK_HOME}/bin/spark-submit --master yarn-client --class org.apache.spark.examples.SparkPi ARK_HOME}/lib/spark-examples-1.5.0-hadoop2.6.0.jar 1 16/03/05 15:32:56 INFO spark.SparkContext: Running Spark version 1.5.0 16/03/05 15:32:57 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 16/03/05 15:32:57 INFO spark.SecurityManager: Changing view acls to: spark 16/03/05 15:32:57 INFO spark.SecurityManager: Changing modify acls to: spark 16/03/05 15:32:57 INFO spark.SecurityManager: SecurityManager: authentication disabled; ui acls disabled; users with view permissions: Set(spark); users with modify permissions: Set(spark) 16/03/05 15:32:57 INFO slf4j.Slf4jLogger: Slf4jLogger started 16/03/05 15:32:57 INFO Remoting: Starting remoting 16/03/05 15:32:58 INFO Remoting: Remoting started; listening on addresses :[akka.tcp://sparkDriver@192.168.xx.xx:43759] 16/03/05 15:32:58 INFO util.Utils: Successfully started service 'sparkDriver' on port 43759. 16/03/05 15:32:58 INFO spark.SparkEnv: Registering MapOutputTracker 16/03/05 15:32:58 INFO spark.SparkEnv: Registering BlockManagerMaster 16/03/05 15:32:58 INFO storage.DiskBlockManager: Created local directory at /tmp/blockmgr-e83012d8-81a3-4a98-b25b-7a09da7727dd 16/03/05 15:32:58 INFO storage.MemoryStore: MemoryStore started with capacity 530.3 MB 16/03/05 15:32:58 INFO spark.HttpFileServer: HTTP File server directory is /tmp/spark-efab6901-2bb7-49d6-99fd-36b18b468462/httpd-919fa660-dabd-47a4-8a63-7aa1350023fc 16/03/05 15:32:58 INFO spark.HttpServer: Starting HTTP Server 16/03/05 15:32:58 INFO server.Server: jetty-8.y.z-SNAPSHOT 16/03/05 15:32:58 INFO server.AbstractConnector: Started SocketConnector@0.0.0.0:35607 16/03/05 15:32:58 INFO util.Utils: Successfully started service 'HTTP file server' on port 35607. 16/03/05 15:32:58 INFO spark.SparkEnv: Registering OutputCommitCoordinator 16/03/05 15:32:58 INFO server.Server: jetty-8.y.z-SNAPSHOT 16/03/05 15:32:58 INFO server.AbstractConnector: Started SelectChannelConnector@0.0.0.0:4040 16/03/05 15:32:58 INFO util.Utils: Successfully started service 'SparkUI' on port 4040. 16/03/05 15:32:58 INFO ui.SparkUI: Started SparkUI at http://192.168.xx.xx:4040 16/03/05 15:32:58 INFO spark.SparkContext: Added JAR file:/home/spark/spark/lib/spark-examples-1.5.0-hadoop2.6.0.jar at http://192.168.xx.xx:35607/jars/spark-examples-1.5.0-hadoop2.6.0.jar with timestamp 1457159578501 16/03/05 15:32:58 WARN metrics.MetricsSystem: Using default name DAGScheduler for source because spark.app.id is not set. 16/03/05 15:32:58 INFO client.RMProxy: Connecting to ResourceManager at neptune/192.168.xx.xx:8032 16/03/05 15:32:58 INFO yarn.Client: Requesting a new application from cluster with 1 NodeManagers 16/03/05 15:32:58 INFO yarn.Client: Verifying our application has not requested more than the maximum memory capability of the cluster (8192 MB per container) 16/03/05 15:32:58 INFO yarn.Client: Will allocate AM container, with 896 MB memory including 384 MB overhead 16/03/05 15:32:58 INFO yarn.Client: Setting up container launch context for our AM 16/03/05 15:32:58 INFO yarn.Client: Setting up the launch environment for our AM container 16/03/05 15:32:58 INFO yarn.Client: Preparing resources for our AM container 16/03/05 15:32:59 INFO yarn.Client: Uploading resource file:/home/spark/spark-1.5.0-bin-hadoop2.6/lib/spark-assembly-1.5.0-hadoop2.6.0.jar -> hdfs://neptune:8020/user/spark/.sparkStaging/application_1457155772931_0018/spark-assembly-1.5.0-hadoop2.6.0.jar 16/03/05 15:33:01 INFO yarn.Client: Uploading resource file:/tmp/spark-efab6901-2bb7-49d6-99fd-36b18b468462/__spark_conf__187900141179298988.zip -> hdfs://neptune:8020/user/spark/.sparkStaging/application_1457155772931_0018/__spark_conf__187900141179298988.zip 16/03/05 15:33:01 INFO spark.SecurityManager: Changing view acls to: spark 16/03/05 15:33:01 INFO spark.SecurityManager: Changing modify acls to: spark 16/03/05 15:33:01 INFO spark.SecurityManager: SecurityManager: authentication disabled; ui acls disabled; users with view permissions: Set(spark); users with modify permissions: Set(spark) 16/03/05 15:33:01 INFO yarn.Client: Submitting application 18 to ResourceManager 16/03/05 15:33:01 INFO impl.YarnClientImpl: Submitted application application_1457155772931_0018 16/03/05 15:33:02 INFO yarn.Client: Application report for application_1457155772931_0018 (state: ACCEPTED) 16/03/05 15:33:02 INFO yarn.Client: client token: N/A diagnostics: N/A ApplicationMaster host: N/A ApplicationMaster RPC port: -1 queue: root.spark start time: 1457159581151 final status: UNDEFINED tracking URL: http://neptune:8088/proxy/application_1457155772931_0018/ user: spark 16/03/05 15:33:03 INFO yarn.Client: Application report for application_1457155772931_0018 (state: ACCEPTED) 16/03/05 15:33:04 INFO yarn.Client: Application report for application_1457155772931_0018 (state: ACCEPTED) ...

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

guest

回答1

0

自己解決

手動でhadoopとhdfsに関するファイルをすべて消去したあと再インストールしたら、うまくいきました。

投稿2016/03/06 08:28

Day

総合スコア10

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.50%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問