質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.37%
MapReduce

MapReduceは、巨大なデータセットに対する分散コンピューティングを支援する目的で、2004年にGoogleにより開発されたフレームワークです。

Hive

Hiveとは、Hadoop(オープンソースの大規模分散計算フレームワーク)の上で動作するDWH(Data Warehouse:データウエアハウス)向けのプロダクトです。HiveQLというSQLのような言語で、Hadoop上のデータを操作することができます。

Q&A

0回答

1621閲覧

Hiveプロパティ「hive.new.job.grouping.set.cardinality」について

KaiheiSameshima

総合スコア10

MapReduce

MapReduceは、巨大なデータセットに対する分散コンピューティングを支援する目的で、2004年にGoogleにより開発されたフレームワークです。

Hive

Hiveとは、Hadoop(オープンソースの大規模分散計算フレームワーク)の上で動作するDWH(Data Warehouse:データウエアハウス)向けのプロダクトです。HiveQLというSQLのような言語で、Hadoop上のデータを操作することができます。

0グッド

0クリップ

投稿2017/03/23 06:03

Hiveプロパティ「hive.new.job.grouping.set.cardinality」について

ドキュメントhive.new.job.grouping.set.cardinalityを読み以下の様に理解しました。

sets/rollups/cubesをグループ化するために、新しいmap-reduceジョブを起動するかどうかの閾値が「hive.new.job.grouping.set.cardinality」である。
更に、DISTINCTを利用している場合、新しいmap-reduceジョブが起動された場合
その新しいmap-reduceジョブでは、DISTINCT句を利用できないため
DISTINCT句を用いないクエリーにするか
「hive.new.job.grouping.set.cardinality」を調整して、新しいmap-reduceジョブが起動されないようにする必要がある

実際、この様な問題になるクエリが存在しており
できれば、DISTINCT句を残したまま、「hive.new.job.grouping.set.cardinality」を調整し
回避できないか?と考えているのですが
その場合、考えられる弊害は何かあるのでしょうか?

もしくは、DISTINCT句を残すのは論外!
あくまでもDISTINCT句の排除を行うべき!など

ご教授頂けると助かります。
よろしくお願いいたします。

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

guest

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

まだ回答がついていません

会員登録して回答してみよう

アカウントをお持ちの方は

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.37%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問