Hive

Hiveとは、Hadoop(オープンソースの大規模分散計算フレームワーク)の上で動作するDWH(Data Warehouse:データウエアハウス)向けのプロダクトです。HiveQLというSQLのような言語で、Hadoop上のデータを操作することができます。

RSS

  • 受付中

    回答
    0

    hiveコマンドをphpに書き換えてqueueの名前を取得したい

    hive -hiveconf tez.queue.name= -hiveconf mapreduce.job.queuename= hiveでqueueの名前を定義するこのクエリオプションを phpで同様に行う場合どうしたらどのように書けばよろしいでしょうか?

    • 0評価
    • 108PV
    amaguri amaguri 3ヶ月前
  • 解決済

    回答
    1

    hive パーティションの書き方

    defaultというDBの hive_testという常にあるテーブルのカラム名:idに id=aaa というパーティションを追加するにはどのようなhiveクエリを書けばいいでしょうか? また defaultというDBに 新たにhive_test2というテーブルを作成し カラム名:id データ型:int パーティション:id=aaa という

    • 0評価
    • 142PV
    amaguri amaguri 4ヶ月前
  • 解決済

    回答
    2

    veiwについて

    hiveでviewをすることになりました。 パーティション指定をしたview を作成して年月で分割したいです。 以下のようなテーブルがあるとします。 CREATE TABLE sales ( id INT ,shop_id STRING ,date_id STRING ) PARTITIONED BY(pt_yyyymm S

    • 0評価
    • 135PV
    teiou104 teiou104 5ヶ月前
  • 解決済

    回答
    1

    Hcatalogについて。

    Hcatalogの使い方がわかりません。 hcatコマンドを使うとlinux上からhiveQLなどを使うことができます。 上司からはファイルの制御ができると聞いたのですが、調べてもわかりませんでした。 どのような使い方をすればいいのでしょうか? できればサンプルになるようなものを見てみたいです。 資料だけでは理解できなかったので。

    • 0評価
    • 152PV
    teiou104 teiou104 5ヶ月前
  • 解決済

    回答
    1

    Hiveでのユーザー切り替え

    EMRのバージョンは5.0.0です。 Hive 2.1.0, Hue 3.10.0です。 admin権限のユーザー(hive?)から他のユーザーに切り替えるかわかりません。 ユーザーを切り替えるにはどのような方法があるでしょうか? roleを使って制限をかけたユーザーに変更する方法も知りたいです。

    • 0評価
    • 274PV
    teiou104 teiou104 6ヶ月前
  • 解決済

    回答
    5

    テーブル自体を簡略化したいです。

    sqlはdmlができるくらいのレベルです。ほぼ初心者レベルです。 Hive,バージョン1.0.0 すべてを記載すると長くて読みづらいので割愛しています。 以下のようなinsert文が96あります。 15分おきのデータで1日分ありテーブルにinsertを96回行わないといかず日付データを入れ替えるだけで面倒だしミスもしやすいし時間がかかります。

    • 0評価
    • 470PV
    teiou104 teiou104 6ヶ月前
  • 解決済

    回答
    1

    UNION ALL

    HiveのUNION ALLはバージョンいくつから使えますか? システムに入っているHiveのバージョンは1.0.0です。

    • 0評価
    • 160PV
    teiou104 teiou104 7ヶ月前
  • 解決済

    回答
    1

    hiveql

    hiveにて LOAD DATA LOCAL INPATH '/Users/uu097439/desktop/HIVE NAME.csv' OVERWRITE INTO TABLE test_copy; と入力すると FAILED: SemanticException Line 2:40 Invalid path ''/Users/uu097

    • 0評価
    • 148PV
    amaguri amaguri 7ヶ月前
  • 受付中

    回答
    0

    Hadoopでのスクリプト実行環境で明確にしないと設計できないものについて悩んでいます。

    Amazon EMRを利用したシステムの設計を行うのですが、以下を明確にしないと設計できないものについて悩んでいます。 以下の内容へのアドバイス及び、ここも気を付けた方が良いよ!という点があればアドバイスをお願いします。 EMRクラスター(Hadoop)をローカルで実行するためにCDHかHDPか(基準:どちらが検証しやすいか) EMRでど

    • 0評価
    • 211PV
    KaiheiSameshima KaiheiSameshima 7ヶ月前
  • 解決済

    回答
    1

    cakephp HiveQlで更新系クエリを使用した時 EXPLAINファイルを解析して更新先DB名...

    今回やりたいこと 作成した管理画面のwriterformから更新系のHiveQlを入力した時 その更新先のデータベースを抽出するにはどういたらいいか? 例 drop database DB名; や drop table TB名; とHiveQlで宣言された時その対象のDB名を抽出する。 ただ クエリの宣言も様々ですし use

    • 0評価
    • 185PV
    amaguri amaguri 8ヶ月前
  • 受付中

    回答
    2

    cakephp にて実行したクエリが参照系か更新系かを識別する方法

    cakephpにて SQLまたはHiveQLで実行されたクエリのコマンドが データベースに更新を与えるコマンドなのか データベースの中身を参照するコマンドなのか 識別するプログラムを書きたいのですが書き方が全く想像もつきません。 更新系とはUpdataやcreateなどデータベースに変更を与えるコマンド 参照系とはshow tablesやse

    • 0評価
    • 311PV
    amaguri amaguri 8ヶ月前
  • 受付中

    回答
    0

    cakephpにてHiveクエリを実行した場合にデータベーステーブルのデータを見ながら処理のだしわけ...

    cakephpにてHiveクエリを実行した時の処理を下記のようにしたいですがコードをどのように書けばいいかわからず困っています。 ---前提条件---- ・テーブル名 dbs(個人情報が入っているDBを登録するテーブル) id integer auto_increment, database v

    • 0評価
    • 228PV
    amaguri amaguri 8ヶ月前
  • 受付中

    回答
    4

    SQLのSUMでDISTINCTした行だけ集計

    前提・実現したいこと SQLで集計するときにDISTINCTした行だけSUMをしたいです。 例えば下記のようなログテーブルがあったとします。 log_table user_id value 1 1.2 1 1.2 2 1.1 3

    • 1評価
    • 2063PV
    txmy txmy 1年以上前
  • 受付中

    回答
    0

    HiveQLについて

    現在、DB関連でとある原因調査をしています。とある機能でいくつかのバッチを動かして、SQL(OracleDBのSQLplus)の操作があったり、HiveQLの操作があったりしてます。当方、HiveQLの知識がまったくなく、HiveQLにかかれているテーブル(インサートされた)情報は何かのツールで確認できるのでしょうか?かなり初歩的な質問でも申し訳ございません

    • 0評価
    • 318PV
    tashi480 tashi480 1年以上前
  • 解決済

    回答
    1

    【Hive】inでサブクエリが使えない

    次のHiveQLを実行すると下記のエラーで出ます。 error while compiling statement: failed: parseexception line 9:2 cannot recognize input near 'select' 'user_id' 'from' in expression specification select

    • 0評価
    • 440PV
    naoyan naoyan 1年以上前
  • 受付中

    回答
    0

    HiveのLIMITでデータ量を実際の1/2に指定する方法はありますか?

    HiveのLIMITでデータ量を実際の1/2に指定する方法はありますか? LIMIT 100 とかではなく、実際の結果レコード数の1/2という指定をしたいです。

    • 0評価
    • 356PV
    null368 null368 1年以上前
  • 受付中

    回答
    2

    hiveのログの見方が分かりません。

    hiveの実行ログを見ており、下記のように出力がされています。 ============================== 2015-10-27 15:43:07,528 Stage-2 map = 0%, reduce = 0% 2015-10-27 15:44:08,308 Stage-2 map = 0%, reduce = 0%, Cumula

    • 0評価
    • 490PV
    ゲストユーザー 1年以上前
  • 解決済

    回答
    3

    【SQL】URLから数字のみ取得する方法

    こんにちは。 SQLで以下のようなデータの取り出しはできるのでしょうか。 id | url 1 |http://qqq.jp/cvb/1234gaee 2 |http://qqq.jp/cvb/45676 3 |http://qqq.jp/cvb/1234532 から 1 |1234 2 |45676 3 |1234532 を取り出した

    • 0評価
    • 574PV
    naoyan naoyan 1年以上前
  • 解決済

    回答
    2

    【Hive】union allできない

    お世話になっております。 現在、Hiveqlを書いておりまして、 SQLをまとめようと、union allを使用しているのですが、 個々で動いていたSQLがunion allでまとめるとエラーになります。 Hiveqlのunion allの書き方が間違っているのでしょうか。 以下のcodeです。 ( select user_id as id,

    • 0評価
    • 894PV
    naoyan naoyan 1年以上前
  • 解決済

    回答
    1

    Hiveql リストの中身を抽出

    プログラミング初心者です。 Hiveqlでリストからデータを抽出する方法を教えて下さい。 例えば、下のようなテーブルがあったとします。 ID List A {0,1,2,3,4,5} B {1,2,3,4,5} C {3,4,5} D {0,3,4,5} この場合に、Listに3を持つIDが何個あるか数えたいのですが、 どうしたら

    • 0評価
    • 481PV
    pan87 pan87 1年以上前
1

タグ情報

  • あなたの順位

    -

  • タグ登録者数

    30

  • 総質問数

    29

  • 今週の質問数

    0

関連するタグ

思考するエンジニアのためのQ&Aサイト「teratail」について詳しく知る