件数の多いテーブルのクロス集計の方法について

Question

●前提
・hive sqlを使っています。
・AとBというサービスがあり、Aの商品はダブりなく15のジャンルに分かれていています。
Bの商品もいくつかのジャンルに分かれていますが、複数のジャンルを組み合わせたジャンル名がつけられています。（含まれているジャンル名は20ぐらいですが、組み合わせで400ぐらいになります）

Aのサービスのテーブルを作ることまでは何とかできて
個人ID　商品ID　ジャンル　サービスID
という形になっています。
個人IDと商品IDとジャンルとサービスIDの組み合わせの重複はないです。
500万件のテーブルです。
※期間内に同じ商品を何度利用しても1件という形です。

Bの方も重複なしのテーブルを作っていますが40万件程度あります。
Aのテーブルを現在、作成中にですが30分程度で止まってしまいます。

●実現したいこと
・Aのそれぞれのジャンルの商品を購入している人は、
Bだとどのジャンルの商品を購入しているのかを調べたいと思っています。
※Bのどのような文言が入っているものを利用しているのか調べたいです。

●クロス集計をしたいのですが、それぞれのテーブルの件数が多いので、
知っているクロス集計の方法であるエクセルのピボットテーブルを使うことはできないといわれ、調べてみると扱える件数を超えていました。

■SQLでcase文というのを使うことでクロス集計ができるようだというところまではわかったのですが、
今回の場合、この後どのようにテーブルを作ればよいのか、
15ジャンル、400ジャンルのどちらに合わせて、どのようにcase文を作ればよいのかがわからず困っています。

ご存じでしたら教えてください。

Answer 1

AとBとの個人IDを軸にしたジャンルのクロス集計ですね。
列側をcaseすることになるので、ジャンルが少ない方を列にする方が、SQLの記述は少なくて済みますね。

Aのテーブルを現在、作成中にですが30分程度で止まってしまいます。

これはクロス集計の元になるテーブルを作成しているという事でしょうか？
サービス毎にAとBというテーブルがある？

細かいことは、テーブルの定義（インデックスを含め）とリレーションが分からないと何とも言えませんが。

Comments

[s54h2177]

回答ありがとうございます。
サービスごとにAとBというテーブルがあるわけであはないです。
サービスAのテーブルとサービスBのテーブルという意味でした。
わかりにくくしてしまい申し訳ございません。
case文に関してはちょっと勉強中であまりうまくいってないです。
もう少し試してみて再度質問します。

[s54h2177]

サービスA,B共に個人id,商品idのペアでユニークになっている、個人id,商品id,ジャンル、サービスidというテーブルを作ることはできました。
やりたいことは、
表側にサービスAのジャンル、表頭にサービスBのジャンルになっている、クロス集計です。どちらが表頭でもいいです。
1:クロス集計をするためにこの後どのようなテーブルをつくればよいか、
2:どうケース文を書けばよいのか、
※検索してでてきたのは20から29才なら20代と表示させるという例題しかなく、今回の場合どこをどうかえればやりたいことになるのかわかりませんでした
宜しくお願いします