質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

ただいまの
回答率

87.78%

spark yarn-clientモードで円周率の計算でエラー

解決済

回答 1

投稿 編集

  • 評価
  • クリップ 0
  • VIEW 1,986

score 10

spark環境を構築したのですが、(yarnとhdfsを使用)円周率を計算するというコードが終了しません。(ずっと同じメッセージが1秒置きにながれる 最下部参照)解決方法をご存じの方がいたら教えて頂きたいです。

構成
centos6.5 spark-client spark-master
    hadoop-yarn-resourcemanager
    hadoop-hdfs-namenode
centos6.2 spark-worker
    hadoop-yarn-nodemanager
    sudo service hadoop-hdfs-datanode stop

--master local では計算がうまく終了しました。
--master yarn-client で分散処理をさせたいのですがこのようなエラーとなりました。

http://stackoverflow.com/questions/30828879/application-report-for-application-state-accepted-never-ends-for-spark-submi
同じようなエラーが出ている人がいるようですが、
yarn.scheduler.capacity.maximum-am-resource-percent
を0.1 から  0.5 に変更(その後hdfsとyarnを再起動)しても変わらず同じエラーでした

参考

root#sudo -u yarn yarn node -list -all
16/03/05 15:42:47 INFO client.RMProxy: Connecting to ResourceManager at neptune/192.168.xx.xx:8032
Total Nodes:1
         Node-Id             Node-State Node-Http-Address       Number-of-Running-Containers
uranus.local:37893              RUNNING uranus.local:8042                                  4

root# sudo -u hdfs hdfs dfsadmin -report
Configured Capacity: 1934210695168 (1.76 TB)
Present Capacity: 1516678750208 (1.38 TB)
DFS Remaining: 1512227303424 (1.38 TB)
DFS Used: 4451446784 (4.15 GB)
DFS Used%: 0.29%
Under replicated blocks: 72
Blocks with corrupt replicas: 0
Missing blocks: 0
Missing blocks (with replication factor 1): 0

Live datanodes (1):

Name: 192.168.xx.yy:50010 (uranus)
Hostname: uranus.local
Decommission Status : Normal
Configured Capacity: 1934210695168 (1.76 TB)
DFS Used: 4451446784 (4.15 GB)
Non DFS Used: 417531944960 (388.86 GB)
DFS Remaining: 1512227303424 (1.38 TB)
DFS Used%: 0.23%
DFS Remaining%: 78.18%
Configured Cache Capacity: 0 (0 B)
Cache Used: 0 (0 B)
Cache Remaining: 0 (0 B)
Cache Used%: 100.00%
Cache Remaining%: 0.00%
Xceivers: 1
Last contact: Sat Mar 05 15:43:51 JST 2016


以下 エラー内容
$  ${SPARK_HOME}/bin/spark-submit   --master yarn-client  --class org.apache.spark.examples.SparkPi  ARK_HOME}/lib/spark-examples-1.5.0-hadoop2.6.0.jar 1

16/03/05 15:32:56 INFO spark.SparkContext: Running Spark version 1.5.0
16/03/05 15:32:57 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
16/03/05 15:32:57 INFO spark.SecurityManager: Changing view acls to: spark
16/03/05 15:32:57 INFO spark.SecurityManager: Changing modify acls to: spark
16/03/05 15:32:57 INFO spark.SecurityManager: SecurityManager: authentication disabled; ui acls disabled; users with view permissions: Set(spark); users with modify permissions: Set(spark)
16/03/05 15:32:57 INFO slf4j.Slf4jLogger: Slf4jLogger started
16/03/05 15:32:57 INFO Remoting: Starting remoting
16/03/05 15:32:58 INFO Remoting: Remoting started; listening on addresses :[akka.tcp://sparkDriver@192.168.xx.xx:43759]
16/03/05 15:32:58 INFO util.Utils: Successfully started service 'sparkDriver' on port 43759.
16/03/05 15:32:58 INFO spark.SparkEnv: Registering MapOutputTracker
16/03/05 15:32:58 INFO spark.SparkEnv: Registering BlockManagerMaster
16/03/05 15:32:58 INFO storage.DiskBlockManager: Created local directory at /tmp/blockmgr-e83012d8-81a3-4a98-b25b-7a09da7727dd
16/03/05 15:32:58 INFO storage.MemoryStore: MemoryStore started with capacity 530.3 MB
16/03/05 15:32:58 INFO spark.HttpFileServer: HTTP File server directory is /tmp/spark-efab6901-2bb7-49d6-99fd-36b18b468462/httpd-919fa660-dabd-47a4-8a63-7aa1350023fc
16/03/05 15:32:58 INFO spark.HttpServer: Starting HTTP Server
16/03/05 15:32:58 INFO server.Server: jetty-8.y.z-SNAPSHOT
16/03/05 15:32:58 INFO server.AbstractConnector: Started SocketConnector@0.0.0.0:35607
16/03/05 15:32:58 INFO util.Utils: Successfully started service 'HTTP file server' on port 35607.
16/03/05 15:32:58 INFO spark.SparkEnv: Registering OutputCommitCoordinator
16/03/05 15:32:58 INFO server.Server: jetty-8.y.z-SNAPSHOT
16/03/05 15:32:58 INFO server.AbstractConnector: Started SelectChannelConnector@0.0.0.0:4040
16/03/05 15:32:58 INFO util.Utils: Successfully started service 'SparkUI' on port 4040.
16/03/05 15:32:58 INFO ui.SparkUI: Started SparkUI at http://192.168.xx.xx:4040
16/03/05 15:32:58 INFO spark.SparkContext: Added JAR file:/home/spark/spark/lib/spark-examples-1.5.0-hadoop2.6.0.jar at http://192.168.xx.xx:35607/jars/spark-examples-1.5.0-hadoop2.6.0.jar with timestamp 1457159578501
16/03/05 15:32:58 WARN metrics.MetricsSystem: Using default name DAGScheduler for source because spark.app.id is not set.
16/03/05 15:32:58 INFO client.RMProxy: Connecting to ResourceManager at neptune/192.168.xx.xx:8032
16/03/05 15:32:58 INFO yarn.Client: Requesting a new application from cluster with 1 NodeManagers
16/03/05 15:32:58 INFO yarn.Client: Verifying our application has not requested more than the maximum memory capability of the cluster (8192 MB per container)
16/03/05 15:32:58 INFO yarn.Client: Will allocate AM container, with 896 MB memory including 384 MB overhead
16/03/05 15:32:58 INFO yarn.Client: Setting up container launch context for our AM
16/03/05 15:32:58 INFO yarn.Client: Setting up the launch environment for our AM container
16/03/05 15:32:58 INFO yarn.Client: Preparing resources for our AM container
16/03/05 15:32:59 INFO yarn.Client: Uploading resource file:/home/spark/spark-1.5.0-bin-hadoop2.6/lib/spark-assembly-1.5.0-hadoop2.6.0.jar -> hdfs://neptune:8020/user/spark/.sparkStaging/application_1457155772931_0018/spark-assembly-1.5.0-hadoop2.6.0.jar
16/03/05 15:33:01 INFO yarn.Client: Uploading resource file:/tmp/spark-efab6901-2bb7-49d6-99fd-36b18b468462/__spark_conf__187900141179298988.zip -> hdfs://neptune:8020/user/spark/.sparkStaging/application_1457155772931_0018/__spark_conf__187900141179298988.zip
16/03/05 15:33:01 INFO spark.SecurityManager: Changing view acls to: spark
16/03/05 15:33:01 INFO spark.SecurityManager: Changing modify acls to: spark
16/03/05 15:33:01 INFO spark.SecurityManager: SecurityManager: authentication disabled; ui acls disabled; users with view permissions: Set(spark); users with modify permissions: Set(spark)
16/03/05 15:33:01 INFO yarn.Client: Submitting application 18 to ResourceManager
16/03/05 15:33:01 INFO impl.YarnClientImpl: Submitted application application_1457155772931_0018
16/03/05 15:33:02 INFO yarn.Client: Application report for application_1457155772931_0018 (state: ACCEPTED)
16/03/05 15:33:02 INFO yarn.Client:
         client token: N/A
         diagnostics: N/A
         ApplicationMaster host: N/A
         ApplicationMaster RPC port: -1
         queue: root.spark
         start time: 1457159581151
         final status: UNDEFINED
         tracking URL: http://neptune:8088/proxy/application_1457155772931_0018/
         user: spark
16/03/05 15:33:03 INFO yarn.Client: Application report for application_1457155772931_0018 (state: ACCEPTED)
16/03/05 15:33:04 INFO yarn.Client: Application report for application_1457155772931_0018 (state: ACCEPTED)
...
  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 過去に投稿した質問と同じ内容の質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

回答 1

check解決した方法

0

手動でhadoopとhdfsに関するファイルをすべて消去したあと再インストールしたら、うまくいきました。

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

15分調べてもわからないことは、teratailで質問しよう!

  • ただいまの回答率 87.78%
  • 質問をまとめることで、思考を整理して素早く解決
  • テンプレート機能で、簡単に質問をまとめられる

関連した質問

同じタグがついた質問を見る