質問するログイン新規登録

Q&A

0回答

2143閲覧

Hadoopでのスクリプト実行環境で明確にしないと設計できないものについて悩んでいます。

KaiheiSameshima

総合スコア10

Node.js

Node.jsとはGoogleのV8 JavaScriptエンジンを使用しているサーバーサイドのイベント駆動型プログラムです。

Hadoop

Apache Hadoopは大規模なデータの分散処理をサポートするJavaソフトウェアフレームワークです。Hadoopを利用すると、数千ノードおよびペタバイト級のアプリケーションデータを処理することができます。

Amazon Elastic MapReduce

Amazon Elastic MapReduce(Amazon EMR)は、 Amazonが社が提供する 大量のデータを迅速、容易に処理が可能なウェブサービスです。

Hive

Hiveとは、Hadoop(オープンソースの大規模分散計算フレームワーク)の上で動作するDWH(Data Warehouse:データウエアハウス)向けのプロダクトです。HiveQLというSQLのような言語で、Hadoop上のデータを操作することができます。

0グッド

0クリップ

投稿2016/07/28 05:28

編集NaN/aN/aN aN:aN

0

0

Amazon EMRを利用したシステムの設計を行うのですが、以下を明確にしないと設計できないものについて悩んでいます。

以下の内容へのアドバイス及び、ここも気を付けた方が良いよ!という点があればアドバイスをお願いします。

  1. EMRクラスター(Hadoop)をローカルで実行するためにCDHかHDPか(基準:どちらが検証しやすいか)

  2. EMRでどれを使うか(hive QL,impala,pig)(基準:どれが性能が良いか)
    impalaを採用しようかと考えています。

  3. EMRの演算結果の保存先はS3かDynamoDBか(基準:どちらが安いのか、早いのか)
    ※HDFSは一時キャッシュのため対象外

  4. Lambdaで実行する言語のはどれが良いか?(Node.js,Java,Python) (基準:製造・修正しやすいのか? 性能面)
    また、Node.jsの場合、どのフレームワークを使うか(候補:angular js)

Node.jsを採用しようかと考えています。

  1. DynamoDBのテーブル設計はどうすれば早くなるのか?

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

guest

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

まだ回答がついていません

会員登録して回答してみよう

アカウントをお持ちの方は

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.29%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問