Hive

Hiveとは、Hadoop(オープンソースの大規模分散計算フレームワーク)の上で動作するDWH(Data Warehouse:データウエアハウス)向けのプロダクトです。HiveQLというSQLのような言語で、Hadoop上のデータを操作することができます。

RSS
  • 解決済

    回答
    1

    Hive:テキストファイルからテーブルを生成する方法について

    Hadoop(HDFS領域)環境です。 タブ区切りのテキストファイル(.txt)が存在するとします。 そのデータをテーブルにしたい場合はどのようにすればよいでしょうか。 まずは該当のカラムを持つテーブルをCREATE TABLEしてあげる必要があるとは思うのですが、その後にファイルを読み込ませる方法がわ

    • 0評価
    • 35PV
    Orlofsky Orlofsky 1日前に ベストアンサー
  • 解決済

    回答
    1

    beelineコマンドの実行を含むコマンドをバックグラウンドで実行する方法

    beelineコマンドを含むbashスクリプトを作成しています。 fgで実行した場合、問題なく実行できるのですが、bgで実行した場合タスクが停止状態になってしまいます。 beelineコマンドをバックグラウンドで実行するにあたりなにか制約などありますか? OS: CentOS release 6.5 (Final) Hive: Apache Hi

    • 0評価
    • 98PV
    ksilverwall ksilverwall 1ヶ月前に 回答
  • 解決済

    回答
    1

    Hive:作成されたテーブルのクエリ確認方法について

    最近業務上でHadoop,Hiveを使い始めたのですが元々SQLの知識に乏しく、 わからないことだらけです…出来る限り調べながらご質問しておりますが、 トンチンカンな質問をしてしまっていたら大変申し訳ないです。 前提・実現したいこと 現在Hadoop上のhiveを用いて、様々なテーブルからデータを抽出しております。 hiveの機能についての質問ですが、

    • 0評価
    • 68PV
    azs azs 1ヶ月前に コメント
  • 解決済

    回答
    1

    hiveの実行でエラー

    こちらの記事を参考にHadoop+hiveを試してみようと思いました。 https://qiita.com/genzouw/items/59705fcfd4af1c5369e1 環境はCentOS+Vagrantです。 最初、そのままではうまくいかず環境変数やHBaseを入れ直したりはしまして、 hiveコマンドを試したところ、 $ hive E

    • 0評価
    • 109PV
    xxyyxx xxyyxx 2ヶ月前に ベストアンサー
  • 受付中

    回答
    0

    hiveで処理するときの並列数、できるファイルの数はどこでわかる

    hiveで 処理するときの並列数や できるファイルの数はどこでわかりますか? また、メモリ不足で落ちてしまうとき、 どこをいじればよいでしょうか?

    • 0評価
    • 62PV
    teratailが2ヶ月前に アップデート
  • 受付中

    回答
    0

    hiveでhdfs上のpyファイルを使えるようにするには

    hiveにて自作のスクリプトを利用した処理をいれたいです。 通常はadd fileで ローカルから ファイルをアップしてそのスクリプトを叩くのですが、スクリプトファイル群が重いので、 これらをhdfs上に起き、 それをtransformで使いたいです。 これは具体的にどうやってできますでしょうか?

    • 0評価
    • 83PV
    teratailが2ヶ月前に アップデート
  • 解決済

    回答
    1

    【Hive】トリガー機能について

    HiveでSQLにあるトリガー機能が使いたいと思います。 特定のテーブルにデータがINSERTされたことをきっかけに、 VIEWを作りたいのですが、その方法としてトリガー機能が使えればと考えました。 「hive trigger」などで検索してみましたが、 実装方法のサンプルページなどはヒットせず、 https://issues.apache.org/ji

    • 0評価
    • 740PV
    chokojori chokojori 6ヶ月前に コメント
  • 受付中

    回答
    0

    hiveのクエリをpresto、postgresで書き換える

    トレジャーデータにおいて、hiveでこれまで書いていたクエリをprestoで書くことになりました prestoはpostgresの書き方と同じなので、postgres に変換できれば大丈夫です 以下コード例です。 DISTRIBUTE BY COALESCE(user_id, TD_MD5(concat(useragent,ip))) SORT BY COA

    • 0評価
    • 310PV
    teratailが8ヶ月前に アップデート
  • 解決済

    回答
    1

    hiveにてlzoファイルの読み込み、表示方法がわからない

    hadoop上のパスに、テキストを圧縮した1つのlzoファイルがあります。 これに対して、 ・適当なテーブルを作り、そこにlzoファイルを読み込み ・そのファイルの中身を上から数行表示する をやるためのhiveコードを 具体的に(すぐ動作するものを)知りたいです。 よろしくお願いします。

    • 0評価
    • 185PV
    zinzin5210 zinzin5210 2ヶ月前に ベストアンサー
  • 受付中

    回答
    0

    HiveQLのLOCATION構文について

    しょぼい質問となり申し訳ございません。 HiveQLのLOCATIONについて質問です。 CREATE EXTERNAL TABLE IF NOT EXISTS archivelog_${DATE} ( id int, count int ) ROW FORMAT DELIMITED FIELDS TERMINATED BY ','

    • 0評価
    • 248PV
    teratailが9ヶ月前に アップデート
  • 受付中

    回答
    1

    文字列のみのレコードで、group byを用いて最後のレコードを抽出する方法

    初めて質問します。 当方sqlやhiveは初心者です。 表題通り、文字列のみで構成されたレコードからgroup byを用いて最後のレコードを抽出する方法が分かりません。 具体的には、以下のようなレコードがあります。 id user address -------------------- aaa hoge tokyo ccc fuga tokyo

    • 0評価
    • 334PV
    otsuki_takaya 退会済みユーザー 11ヶ月前に 回答
  • 受付中

    回答
    0

    Hiveプロパティ「hive.new.job.grouping.set.cardinality」につ...

    Hiveプロパティ「hive.new.job.grouping.set.cardinality」について ドキュメントhive.new.job.grouping.set.cardinalityを読み以下の様に理解しました。 sets/rollups/cubesをグループ化するために、新しいmap-reduceジョブを起動するかどうかの閾値が「hi

    • 0評価
    • 292PV
    teratailが1年以上前に アップデート
  • 受付中

    回答
    0

    hiveコマンドをphpに書き換えてqueueの名前を取得したい

    hive -hiveconf tez.queue.name= -hiveconf mapreduce.job.queuename= hiveでqueueの名前を定義するこのクエリオプションを phpで同様に行う場合どうしたらどのように書けばよろしいでしょうか?

    • 0評価
    • 493PV
    teratailが1年以上前に アップデート
  • 解決済

    回答
    1

    hive パーティションの書き方

    defaultというDBの hive_testという常にあるテーブルのカラム名:idに id=aaa というパーティションを追加するにはどのようなhiveクエリを書けばいいでしょうか? また defaultというDBに 新たにhive_test2というテーブルを作成し カラム名:id データ型:int パーティション:id=aaa という

    • 0評価
    • 755PV
    amaguri amaguri 1年以上前に ベストアンサー
  • 解決済

    回答
    1

    Hcatalogについて。

    Hcatalogの使い方がわかりません。 hcatコマンドを使うとlinux上からhiveQLなどを使うことができます。 上司からはファイルの制御ができると聞いたのですが、調べてもわかりませんでした。 どのような使い方をすればいいのでしょうか? できればサンプルになるようなものを見てみたいです。 資料だけでは理解できなかったので。

    • 0評価
    • 487PV
    teiou104 teiou104 1年以上前に ベストアンサー
  • 解決済

    回答
    2

    veiwについて

    hiveでviewをすることになりました。 パーティション指定をしたview を作成して年月で分割したいです。 以下のようなテーブルがあるとします。 CREATE TABLE sales ( id INT ,shop_id STRING ,date_id STRING ) PARTITIONED BY(pt_yyyymm S

    • 0評価
    • 424PV
    teiou104 teiou104 1年以上前に 回答
  • 解決済

    回答
    1

    Hiveでのユーザー切り替え

    EMRのバージョンは5.0.0です。 Hive 2.1.0, Hue 3.10.0です。 admin権限のユーザー(hive?)から他のユーザーに切り替えるかわかりません。 ユーザーを切り替えるにはどのような方法があるでしょうか? roleを使って制限をかけたユーザーに変更する方法も知りたいです。

    • 0評価
    • 589PV
    teiou104 teiou104 1年以上前に 回答
  • 解決済

    回答
    5

    テーブル自体を簡略化したいです。

    sqlはdmlができるくらいのレベルです。ほぼ初心者レベルです。 Hive,バージョン1.0.0 すべてを記載すると長くて読みづらいので割愛しています。 以下のようなinsert文が96あります。 15分おきのデータで1日分ありテーブルにinsertを96回行わないといかず日付データを入れ替えるだけで面倒だしミスもしやすいし時間がかかります。

    • 0評価
    • 769PV
    teiou104 teiou104 1年以上前に コメント
  • 受付中

    回答
    4

    SQLのSUMでDISTINCTした行だけ集計

    前提・実現したいこと SQLで集計するときにDISTINCTした行だけSUMをしたいです。 例えば下記のようなログテーブルがあったとします。 log_table user_id value 1 1.2 1 1.2 2 1.1 3

    • 1評価
    • 6641PV
    haruka-kanata 退会済みユーザー 1年以上前に コメント
  • 解決済

    回答
    1

    UNION ALL

    HiveのUNION ALLはバージョンいくつから使えますか? システムに入っているHiveのバージョンは1.0.0です。

    • 0評価
    • 489PV
    teiou104 teiou104 1年以上前に ベストアンサー
1

タグ情報

  • あなたの順位

    -

  • タグ登録者数

    40

  • 総質問数

    40

  • 今週の質問数

    1

関連するタグ

Hiveタグのよく見られている質問

思考するエンジニアのためのQ&Aサイト「teratail」について詳しく知る