Hive

Hiveとは、Hadoop(オープンソースの大規模分散計算フレームワーク)の上で動作するDWH(Data Warehouse:データウエアハウス)向けのプロダクトです。HiveQLというSQLのような言語で、Hadoop上のデータを操作することができます。

RSS

  • 受付中

    回答
    0

    Hiveプロパティ「hive.new.job.grouping.set.cardinality」につ...

    Hiveプロパティ「hive.new.job.grouping.set.cardinality」について ドキュメントhive.new.job.grouping.set.cardinalityを読み以下の様に理解しました。 sets/rollups/cubesをグループ化するために、新しいmap-reduceジョブを起動するかどうかの閾値が「hi

    • 0評価
    • 111PV
    teratailが2ヶ月前に アップデート
  • 受付中

    回答
    0

    hiveコマンドをphpに書き換えてqueueの名前を取得したい

    hive -hiveconf tez.queue.name= -hiveconf mapreduce.job.queuename= hiveでqueueの名前を定義するこのクエリオプションを phpで同様に行う場合どうしたらどのように書けばよろしいでしょうか?

    • 0評価
    • 203PV
    teratailが6ヶ月前に アップデート
  • 解決済

    回答
    1

    hive パーティションの書き方

    defaultというDBの hive_testという常にあるテーブルのカラム名:idに id=aaa というパーティションを追加するにはどのようなhiveクエリを書けばいいでしょうか? また defaultというDBに 新たにhive_test2というテーブルを作成し カラム名:id データ型:int パーティション:id=aaa という

    • 0評価
    • 270PV
    amaguri amaguri 7ヶ月前に ベストアンサー
  • 解決済

    回答
    1

    Hcatalogについて。

    Hcatalogの使い方がわかりません。 hcatコマンドを使うとlinux上からhiveQLなどを使うことができます。 上司からはファイルの制御ができると聞いたのですが、調べてもわかりませんでした。 どのような使い方をすればいいのでしょうか? できればサンプルになるようなものを見てみたいです。 資料だけでは理解できなかったので。

    • 0評価
    • 239PV
    teiou104 teiou104 7ヶ月前に ベストアンサー
  • 解決済

    回答
    2

    veiwについて

    hiveでviewをすることになりました。 パーティション指定をしたview を作成して年月で分割したいです。 以下のようなテーブルがあるとします。 CREATE TABLE sales ( id INT ,shop_id STRING ,date_id STRING ) PARTITIONED BY(pt_yyyymm S

    • 0評価
    • 212PV
    teiou104 teiou104 8ヶ月前に 回答
  • 解決済

    回答
    1

    Hiveでのユーザー切り替え

    EMRのバージョンは5.0.0です。 Hive 2.1.0, Hue 3.10.0です。 admin権限のユーザー(hive?)から他のユーザーに切り替えるかわかりません。 ユーザーを切り替えるにはどのような方法があるでしょうか? roleを使って制限をかけたユーザーに変更する方法も知りたいです。

    • 0評価
    • 357PV
    teiou104 teiou104 8ヶ月前に 回答
  • 解決済

    回答
    5

    テーブル自体を簡略化したいです。

    sqlはdmlができるくらいのレベルです。ほぼ初心者レベルです。 Hive,バージョン1.0.0 すべてを記載すると長くて読みづらいので割愛しています。 以下のようなinsert文が96あります。 15分おきのデータで1日分ありテーブルにinsertを96回行わないといかず日付データを入れ替えるだけで面倒だしミスもしやすいし時間がかかります。

    • 0評価
    • 551PV
    teiou104 teiou104 9ヶ月前に コメント
  • 受付中

    回答
    4

    SQLのSUMでDISTINCTした行だけ集計

    前提・実現したいこと SQLで集計するときにDISTINCTした行だけSUMをしたいです。 例えば下記のようなログテーブルがあったとします。 log_table user_id value 1 1.2 1 1.2 2 1.1 3

    • 1評価
    • 2931PV
    haruka-kanata 退会済みユーザー 10ヶ月前に コメント
  • 解決済

    回答
    1

    UNION ALL

    HiveのUNION ALLはバージョンいくつから使えますか? システムに入っているHiveのバージョンは1.0.0です。

    • 0評価
    • 227PV
    teiou104 teiou104 10ヶ月前に ベストアンサー
  • 解決済

    回答
    1

    hiveql

    hiveにて LOAD DATA LOCAL INPATH '/Users/uu097439/desktop/HIVE NAME.csv' OVERWRITE INTO TABLE test_copy; と入力すると FAILED: SemanticException Line 2:40 Invalid path ''/Users/uu097

    • 0評価
    • 219PV
    amaguri amaguri 10ヶ月前に 回答
  • 受付中

    回答
    0

    Hadoopでのスクリプト実行環境で明確にしないと設計できないものについて悩んでいます。

    Amazon EMRを利用したシステムの設計を行うのですが、以下を明確にしないと設計できないものについて悩んでいます。 以下の内容へのアドバイス及び、ここも気を付けた方が良いよ!という点があればアドバイスをお願いします。 EMRクラスター(Hadoop)をローカルで実行するためにCDHかHDPか(基準:どちらが検証しやすいか) EMRでど

    • 0評価
    • 294PV
    teratailが10ヶ月前に アップデート
  • 解決済

    回答
    1

    cakephp HiveQlで更新系クエリを使用した時 EXPLAINファイルを解析して更新先DB名...

    今回やりたいこと 作成した管理画面のwriterformから更新系のHiveQlを入力した時 その更新先のデータベースを抽出するにはどういたらいいか? 例 drop database DB名; や drop table TB名; とHiveQlで宣言された時その対象のDB名を抽出する。 ただ クエリの宣言も様々ですし use

    • 0評価
    • 250PV
    amaguri amaguri 11ヶ月前に ベストアンサー
  • 受付中

    回答
    2

    cakephp にて実行したクエリが参照系か更新系かを識別する方法

    cakephpにて SQLまたはHiveQLで実行されたクエリのコマンドが データベースに更新を与えるコマンドなのか データベースの中身を参照するコマンドなのか 識別するプログラムを書きたいのですが書き方が全く想像もつきません。 更新系とはUpdataやcreateなどデータベースに変更を与えるコマンド 参照系とはshow tablesやse

    • 0評価
    • 400PV
    amaguri amaguri 11ヶ月前に コメント
  • 受付中

    回答
    0

    cakephpにてHiveクエリを実行した場合にデータベーステーブルのデータを見ながら処理のだしわけ...

    cakephpにてHiveクエリを実行した時の処理を下記のようにしたいですがコードをどのように書けばいいかわからず困っています。 ---前提条件---- ・テーブル名 dbs(個人情報が入っているDBを登録するテーブル) id integer auto_increment, database v

    • 0評価
    • 313PV
    teratailが11ヶ月前に アップデート
  • 受付中

    回答
    0

    HiveQLについて

    現在、DB関連でとある原因調査をしています。とある機能でいくつかのバッチを動かして、SQL(OracleDBのSQLplus)の操作があったり、HiveQLの操作があったりしてます。当方、HiveQLの知識がまったくなく、HiveQLにかかれているテーブル(インサートされた)情報は何かのツールで確認できるのでしょうか?かなり初歩的な質問でも申し訳ございません

    • 0評価
    • 396PV
    teratailが1年以上前に アップデート
  • 解決済

    回答
    1

    【Hive】inでサブクエリが使えない

    次のHiveQLを実行すると下記のエラーで出ます。 error while compiling statement: failed: parseexception line 9:2 cannot recognize input near 'select' 'user_id' 'from' in expression specification select

    • 0評価
    • 590PV
    KiyoshiMotoki KiyoshiMotoki 1年以上前に コメント
  • 受付中

    回答
    0

    HiveのLIMITでデータ量を実際の1/2に指定する方法はありますか?

    HiveのLIMITでデータ量を実際の1/2に指定する方法はありますか? LIMIT 100 とかではなく、実際の結果レコード数の1/2という指定をしたいです。

    • 0評価
    • 497PV
    null368 null368 1年以上前に 質問
  • 受付中

    回答
    2

    hiveのログの見方が分かりません。

    hiveの実行ログを見ており、下記のように出力がされています。 ============================== 2015-10-27 15:43:07,528 Stage-2 map = 0%, reduce = 0% 2015-10-27 15:44:08,308 Stage-2 map = 0%, reduce = 0%, Cumula

    • 0評価
    • 585PV
    pi-chan pi-chan 1年以上前に 回答
  • 解決済

    回答
    2

    【Hive】union allできない

    お世話になっております。 現在、Hiveqlを書いておりまして、 SQLをまとめようと、union allを使用しているのですが、 個々で動いていたSQLがunion allでまとめるとエラーになります。 Hiveqlのunion allの書き方が間違っているのでしょうか。 以下のcodeです。 ( select user_id as id,

    • 0評価
    • 1149PV
    naoyan naoyan 1年以上前に コメント
  • 解決済

    回答
    3

    【SQL】URLから数字のみ取得する方法

    こんにちは。 SQLで以下のようなデータの取り出しはできるのでしょうか。 id | url 1 |http://qqq.jp/cvb/1234gaee 2 |http://qqq.jp/cvb/45676 3 |http://qqq.jp/cvb/1234532 から 1 |1234 2 |45676 3 |1234532 を取り出した

    • 0評価
    • 677PV
    naoyan naoyan 1年以上前に コメント
1

タグ情報

  • あなたの順位

    -

  • タグ登録者数

    34

  • 総質問数

    30

  • 今週の質問数

    0

関連するタグ

思考するエンジニアのためのQ&Aサイト「teratail」について詳しく知る