Hive

Hiveとは、Hadoop(オープンソースの大規模分散計算フレームワーク)の上で動作するDWH(Data Warehouse:データウエアハウス)向けのプロダクトです。HiveQLというSQLのような言語で、Hadoop上のデータを操作することができます。

RSS
  • 受付中

    回答
    0

    hiveの実行でエラー

    こちらの記事を参考にHadoop+hiveを試してみようと思いました。 https://qiita.com/genzouw/items/59705fcfd4af1c5369e1 環境はCentOS+Vagrantです。 最初、そのままではうまくいかず環境変数やHBaseを入れ直したりはしまして、 hiveコマンドを試したところ、 $ hive E

    • 0評価
    • 31PV
    teratailが6日前に アップデート
  • 解決済

    回答
    1

    【Hive】トリガー機能について

    HiveでSQLにあるトリガー機能が使いたいと思います。 特定のテーブルにデータがINSERTされたことをきっかけに、 VIEWを作りたいのですが、その方法としてトリガー機能が使えればと考えました。 「hive trigger」などで検索してみましたが、 実装方法のサンプルページなどはヒットせず、 https://issues.apache.org/ji

    • 0評価
    • 681PV
    chokojori chokojori 3ヶ月前に コメント
  • 受付中

    回答
    0

    hiveのクエリをpresto、postgresで書き換える

    トレジャーデータにおいて、hiveでこれまで書いていたクエリをprestoで書くことになりました prestoはpostgresの書き方と同じなので、postgres に変換できれば大丈夫です 以下コード例です。 DISTRIBUTE BY COALESCE(user_id, TD_MD5(concat(useragent,ip))) SORT BY COA

    • 0評価
    • 200PV
    teratailが5ヶ月前に アップデート
  • 受付中

    回答
    1

    hiveにてlzoファイルの読み込み、表示方法がわからない

    hadoop上のパスに、テキストを圧縮した1つのlzoファイルがあります。 これに対して、 ・適当なテーブルを作り、そこにlzoファイルを読み込み ・そのファイルの中身を上から数行表示する をやるためのhiveコードを 具体的に(すぐ動作するものを)知りたいです。 よろしくお願いします。

    • 0評価
    • 104PV
    zinzin5210 zinzin5210 5ヶ月前に 回答
  • 受付中

    回答
    0

    HiveQLのLOCATION構文について

    しょぼい質問となり申し訳ございません。 HiveQLのLOCATIONについて質問です。 CREATE EXTERNAL TABLE IF NOT EXISTS archivelog_${DATE} ( id int, count int ) ROW FORMAT DELIMITED FIELDS TERMINATED BY ','

    • 0評価
    • 160PV
    teratailが5ヶ月前に アップデート
  • 受付中

    回答
    1

    文字列のみのレコードで、group byを用いて最後のレコードを抽出する方法

    初めて質問します。 当方sqlやhiveは初心者です。 表題通り、文字列のみで構成されたレコードからgroup byを用いて最後のレコードを抽出する方法が分かりません。 具体的には、以下のようなレコードがあります。 id user address -------------------- aaa hoge tokyo ccc fuga tokyo

    • 0評価
    • 217PV
    otsuki_takaya 退会済みユーザー 7ヶ月前に 回答
  • 受付中

    回答
    0

    Hiveプロパティ「hive.new.job.grouping.set.cardinality」につ...

    Hiveプロパティ「hive.new.job.grouping.set.cardinality」について ドキュメントhive.new.job.grouping.set.cardinalityを読み以下の様に理解しました。 sets/rollups/cubesをグループ化するために、新しいmap-reduceジョブを起動するかどうかの閾値が「hi

    • 0評価
    • 243PV
    teratailが11ヶ月前に アップデート
  • 受付中

    回答
    0

    hiveコマンドをphpに書き換えてqueueの名前を取得したい

    hive -hiveconf tez.queue.name= -hiveconf mapreduce.job.queuename= hiveでqueueの名前を定義するこのクエリオプションを phpで同様に行う場合どうしたらどのように書けばよろしいでしょうか?

    • 0評価
    • 437PV
    teratailが1年以上前に アップデート
  • 解決済

    回答
    1

    hive パーティションの書き方

    defaultというDBの hive_testという常にあるテーブルのカラム名:idに id=aaa というパーティションを追加するにはどのようなhiveクエリを書けばいいでしょうか? また defaultというDBに 新たにhive_test2というテーブルを作成し カラム名:id データ型:int パーティション:id=aaa という

    • 0評価
    • 597PV
    amaguri amaguri 1年以上前に ベストアンサー
  • 解決済

    回答
    1

    Hcatalogについて。

    Hcatalogの使い方がわかりません。 hcatコマンドを使うとlinux上からhiveQLなどを使うことができます。 上司からはファイルの制御ができると聞いたのですが、調べてもわかりませんでした。 どのような使い方をすればいいのでしょうか? できればサンプルになるようなものを見てみたいです。 資料だけでは理解できなかったので。

    • 0評価
    • 423PV
    teiou104 teiou104 1年以上前に ベストアンサー
  • 解決済

    回答
    2

    veiwについて

    hiveでviewをすることになりました。 パーティション指定をしたview を作成して年月で分割したいです。 以下のようなテーブルがあるとします。 CREATE TABLE sales ( id INT ,shop_id STRING ,date_id STRING ) PARTITIONED BY(pt_yyyymm S

    • 0評価
    • 377PV
    teiou104 teiou104 1年以上前に 回答
  • 解決済

    回答
    1

    Hiveでのユーザー切り替え

    EMRのバージョンは5.0.0です。 Hive 2.1.0, Hue 3.10.0です。 admin権限のユーザー(hive?)から他のユーザーに切り替えるかわかりません。 ユーザーを切り替えるにはどのような方法があるでしょうか? roleを使って制限をかけたユーザーに変更する方法も知りたいです。

    • 0評価
    • 538PV
    teiou104 teiou104 1年以上前に 回答
  • 解決済

    回答
    5

    テーブル自体を簡略化したいです。

    sqlはdmlができるくらいのレベルです。ほぼ初心者レベルです。 Hive,バージョン1.0.0 すべてを記載すると長くて読みづらいので割愛しています。 以下のようなinsert文が96あります。 15分おきのデータで1日分ありテーブルにinsertを96回行わないといかず日付データを入れ替えるだけで面倒だしミスもしやすいし時間がかかります。

    • 0評価
    • 726PV
    teiou104 teiou104 1年以上前に コメント
  • 受付中

    回答
    4

    SQLのSUMでDISTINCTした行だけ集計

    前提・実現したいこと SQLで集計するときにDISTINCTした行だけSUMをしたいです。 例えば下記のようなログテーブルがあったとします。 log_table user_id value 1 1.2 1 1.2 2 1.1 3

    • 1評価
    • 5576PV
    haruka-kanata 退会済みユーザー 1年以上前に コメント
  • 解決済

    回答
    1

    UNION ALL

    HiveのUNION ALLはバージョンいくつから使えますか? システムに入っているHiveのバージョンは1.0.0です。

    • 0評価
    • 412PV
    teiou104 teiou104 1年以上前に ベストアンサー
  • 解決済

    回答
    1

    hiveql

    hiveにて LOAD DATA LOCAL INPATH '/Users/uu097439/desktop/HIVE NAME.csv' OVERWRITE INTO TABLE test_copy; と入力すると FAILED: SemanticException Line 2:40 Invalid path ''/Users/uu097

    • 0評価
    • 419PV
    amaguri amaguri 1年以上前に 回答
  • 受付中

    回答
    0

    Hadoopでのスクリプト実行環境で明確にしないと設計できないものについて悩んでいます。

    Amazon EMRを利用したシステムの設計を行うのですが、以下を明確にしないと設計できないものについて悩んでいます。 以下の内容へのアドバイス及び、ここも気を付けた方が良いよ!という点があればアドバイスをお願いします。 EMRクラスター(Hadoop)をローカルで実行するためにCDHかHDPか(基準:どちらが検証しやすいか) EMRでど

    • 0評価
    • 472PV
    teratailが1年以上前に アップデート
  • 解決済

    回答
    1

    cakephp HiveQlで更新系クエリを使用した時 EXPLAINファイルを解析して更新先DB名...

    今回やりたいこと 作成した管理画面のwriterformから更新系のHiveQlを入力した時 その更新先のデータベースを抽出するにはどういたらいいか? 例 drop database DB名; や drop table TB名; とHiveQlで宣言された時その対象のDB名を抽出する。 ただ クエリの宣言も様々ですし use

    • 0評価
    • 414PV
    amaguri amaguri 1年以上前に ベストアンサー
  • 受付中

    回答
    2

    cakephp にて実行したクエリが参照系か更新系かを識別する方法

    cakephpにて SQLまたはHiveQLで実行されたクエリのコマンドが データベースに更新を与えるコマンドなのか データベースの中身を参照するコマンドなのか 識別するプログラムを書きたいのですが書き方が全く想像もつきません。 更新系とはUpdataやcreateなどデータベースに変更を与えるコマンド 参照系とはshow tablesやse

    • 0評価
    • 614PV
    amaguri amaguri 1年以上前に コメント
  • 受付中

    回答
    0

    cakephpにてHiveクエリを実行した場合にデータベーステーブルのデータを見ながら処理のだしわけ...

    cakephpにてHiveクエリを実行した時の処理を下記のようにしたいですがコードをどのように書けばいいかわからず困っています。 ---前提条件---- ・テーブル名 dbs(個人情報が入っているDBを登録するテーブル) id integer auto_increment, database v

    • 0評価
    • 513PV
    teratailが1年以上前に アップデート
1

タグ情報

  • あなたの順位

    -

  • タグ登録者数

    39

  • 総質問数

    35

  • 今週の質問数

    0

関連するタグ

Hiveタグのよく見られている質問

思考するエンジニアのためのQ&Aサイト「teratail」について詳しく知る