Apache Hadoopは大規模なデータの分散処理をサポートするJavaソフトウェアフレームワークです。Hadoopを利用すると、数千ノードおよびペタバイト級のアプリケーションデータを処理することができます。
Hiveとは、Hadoop(オープンソースの大規模分散計算フレームワーク)の上で動作するDWH(Data Warehouse:データウエアハウス)向けのプロダクトです。HiveQLというSQLのような言語で、Hadoop上のデータを操作することができます。
Q&A
解決済
1回答
3342閲覧
総合スコア12
0グッド
0クリップ
投稿2014/10/05 15:00
0
hiveの初心者です。 hiveで同じフォーマットの複数のファイルをinsertしようとしているのですが、 やり方が分かりません。
lang1LOAD DATA LOCAL INPATH '/path/tofile1' OVERWRITE INTO TABLE table; 2LOAD DATA LOCAL INPATH '/path/tofile2' OVERWRITE INTO TABLE table;
lang
1LOAD DATA LOCAL INPATH '/path/tofile1' OVERWRITE INTO TABLE table; 2LOAD DATA LOCAL INPATH '/path/tofile2' OVERWRITE INTO TABLE table;
は正しいでしょうか?
気になる質問をクリップする
クリップした質問は、後からいつでもMYページで確認できます。
またクリップした質問に回答があった際、通知やメールを受け取ることができます。
バッドをするには、ログインかつ
こちらの条件を満たす必要があります。
質問へのコメント
回答1件
ベストアンサー
PARTITION句を付けるとうまくいきます。
lang1LOAD DATA LOCAL INPATH '/path/tofile1' OVERWRITE INTO TABLE table PARTITION (key = '日付など'); 2LOAD DATA LOCAL INPATH '/path/tofile2' OVERWRITE INTO TABLE table PARTITION (key = '日付など'); 3
1LOAD DATA LOCAL INPATH '/path/tofile1' OVERWRITE INTO TABLE table PARTITION (key = '日付など'); 2LOAD DATA LOCAL INPATH '/path/tofile2' OVERWRITE INTO TABLE table PARTITION (key = '日付など'); 3
のようにすると、select時でも、where条件に、key='日付'で絞り込めるようになります。
投稿2014/10/07 02:30
総合スコア90
あなたの回答
tips
太字
斜体
打ち消し線
見出し
引用テキストの挿入
コードの挿入
リンクの挿入
リストの挿入
番号リストの挿入
表の挿入
水平線の挿入
プレビュー
15分調べてもわからないことはteratailで質問しよう!
ただいまの回答率85.30%
質問をまとめることで思考を整理して素早く解決
テンプレート機能で簡単に質問をまとめる
hiveのLOAD DATA LOCALのやり方について
バッドをするには、ログインかつ
こちらの条件を満たす必要があります。