Amazon Elastic MapReduce

Amazon Elastic MapReduce(Amazon EMR)は、 Amazonが社が提供する 大量のデータを迅速、容易に処理が可能なウェブサービスです。

RSS

  • 受付中

    回答
    0

    Sparkでのエラー(ERROR YarnScheduler)について

    前提・実現したいこと Spark 1.6.2にて多量なデータを処理しているのですが、以下エラーメッセージがあり処理が失敗してしまいます。 どのような対処が必要でしょうか? 処理するデータの件数を抑えることで処理が正常に終わるので、メモリが起因ではないかと考えていますが、 どのパラメータをいじることで解決できるかがわかりません。 発生している問題

    • 0評価
    • 96PV
    zairu_1984 zairu_1984 3ヶ月前
  • 受付中

    回答
    0

    Hadoopでのスクリプト実行環境で明確にしないと設計できないものについて悩んでいます。

    Amazon EMRを利用したシステムの設計を行うのですが、以下を明確にしないと設計できないものについて悩んでいます。 以下の内容へのアドバイス及び、ここも気を付けた方が良いよ!という点があればアドバイスをお願いします。 EMRクラスター(Hadoop)をローカルで実行するためにCDHかHDPか(基準:どちらが検証しやすいか) EMRでど

    • 0評価
    • 102PV
    KaiheiSameshima KaiheiSameshima 4ヶ月前

タグ情報

  • あなたの順位

    -

  • タグ登録者数

    19

  • 総質問数

    2

  • 今週の質問数

    0

関連するタグ

思考するエンジニアのためのQ&Aサイト「teratail」について詳しく知る