🎄teratailクリスマスプレゼントキャンペーン2024🎄』開催中!

\teratail特別グッズやAmazonギフトカード最大2,000円分が当たる!/

詳細はこちら
BigQuery

BigQueryは、Google Cloud Platformが提供しているビッグデータ解析サービス。数TB(テラバイト)またはPB(ペタバイト)の膨大なデータに対し、SQL風のクエリを実行し、高速で集計・分析を行うサービスです。

Google Analytics

Google AnalyticsはGoogleが開発した無料のウェブ分析のソリューションです。複数のクライアント側のAPIとデータをエクスポートし管理するREST APIも格納されています。

SQL

SQL(Structured Query Language)は、リレーショナルデータベース管理システム (RDBMS)のデータベース言語です。大きく分けて、データ定義言語(DDL)、データ操作言語(DML)、データ制御言語(DCL)の3つで構成されており、プログラム上でSQL文を生成して、RDBMSに命令を出し、RDBに必要なデータを格納できます。また、格納したデータを引き出すことも可能です。

Q&A

解決済

1回答

1953閲覧

[SQL][Google Analytics] NEST されたカラムで複数のキーと値を取得したい

coffeesleep

総合スコア5

BigQuery

BigQueryは、Google Cloud Platformが提供しているビッグデータ解析サービス。数TB(テラバイト)またはPB(ペタバイト)の膨大なデータに対し、SQL風のクエリを実行し、高速で集計・分析を行うサービスです。

Google Analytics

Google AnalyticsはGoogleが開発した無料のウェブ分析のソリューションです。複数のクライアント側のAPIとデータをエクスポートし管理するREST APIも格納されています。

SQL

SQL(Structured Query Language)は、リレーショナルデータベース管理システム (RDBMS)のデータベース言語です。大きく分けて、データ定義言語(DDL)、データ操作言語(DML)、データ制御言語(DCL)の3つで構成されており、プログラム上でSQL文を生成して、RDBMSに命令を出し、RDBに必要なデータを格納できます。また、格納したデータを引き出すことも可能です。

0グッド

0クリップ

投稿2020/11/28 08:03

編集2020/11/29 11:29

Google Analytics 4 のイベントを BigQuery テーブルに流し込んでいます。
ひとつのキーをもとにデータを取得することはできるんですが、そのキーと同じレコードにある別のキーに格納されている値を取得するにはどうしたらいいのでしょうか?

具体的なイメージで言うと、__記事名でアクセス数ランキングをだして、その補助データとして著者名を別カラムで出したい(著者名は同じレコードの中に別のキーで格納されている)__といったような用途です。

出力したいデータのイメージ

  • article_name の閲覧数を集計して cnt を出し、降順に並べる
  • どの著者が書いた記事かをわかりやすくするために、author_name カラムを横に出す
  • article_name と author_name は同一レコードの同じカラムの中にネストされて入っていて、それを取り出したい
↓集計対象 ↓補助データ +-----+--------------+-------------+-----+ | Row | article_name | author_name | cnt | +-----+--------------+-------------+-----+ | 1 | My Article A | Author A | 20 | | 2 | My Article D | Author A | 18 | | 3 | My Article C | Author C | 11 | | 4 | My Article B | Author B | 9 | ... +-----+--------------+-------------+-----+

環境

Google Analytics 4
Google Tag Manager でイベントを設定

このようなテーブルスキーマになっていて、event_params.key の中に article_name author_name などのキーがあり、event_params.value.string_value の中に取得したい値が入っています。

イメージ説明

テーブルの中身はこのようになっています。

+-----+------------+-----------------+--------------+------------------+---------------------------------+ | Row | event_date | event_timestamp | event_name | event_params.key | event_params.value.string_value | +-----+------------+-----------------+--------------+------------------+---------------------------------+ | 1 | 20201127 | 160394324324231 | view_article | article_name | My Article A | | | | | | author_name | Author A | | | | | | hogehoge key1 | hogehoge value1 | | | | | | hogehoge key2 | hogehoge value2 | | 2 | 20201127 | 160394324324112 | view_article | article_name | My Article B | | | | | | author_name | Author B | | | | | | hogehoge key1 | hogehoge value1 | | | | | | hogehoge key2 | hogehoge value2 | ... +-----+------------+-----------------+--------------+------------------+---------------------------------+

試したこと

記事名をもとにしたアクセス数ランキングは出すことができました。

SQL

1#standardSQL 2 3WITH _data AS ( 4 SELECT 5 value.string_value AS article_name 6 FROM 7 `my-new-project.analytics_000000000.events_*`, 8 UNNEST(event_params) 9 WHERE 10 key = 'article_name' 11 AND event_name = 'view_article' 12) 13 14SELECT 15 article_name, 16 COUNT(*) AS cnt 17FROM 18 _data 19GROUP BY 20 1 21ORDER BY 22 2 DESC

↓結果

+-----+--------------+-----+ | Row | article_name | cnt | +-----+--------------+-----+ | 1 | My Article A | 20 | | 2 | My Article D | 18 | | 3 | My Article C | 11 | | 4 | My Article B | 9 | ... +-----+--------------+-----+

ここの article_name の横に author_name のカラムを追加したいので、CASE WHEN を使うのがいいのかなと思いました。
しかし、結果としては author_name はすべて null になってしまっているようでした。おそらく別のレコードとして扱われてしまっているのでしょうか。。?

SQL

1#standardSQL 2 3WITH _data AS ( 4 SELECT 5 CASE WHEN key = 'article_name' THEN value.string_value 6 END AS article_name, 7 CASE WHEN key = 'author_name' THEN value.string_value 8 END AS author_name 9 FROM 10 `my-new-project.analytics_000000000.events_*`, 11 UNNEST(event_params) 12 WHERE 13 event_name = 'view_article' 14) 15 16SELECT 17 article_name, 18 MAX(author_name), 19 COUNT(*) AS cnt 20FROM 21 _data 22GROUP BY 23 1 24ORDER BY 25 3 DESC

↓結果

+-----+--------------+-------------+-----+ | Row | article_name | author_name | cnt | +-----+--------------+-------------+-----+ | 1 | My Article A | null | 20 | | 2 | My Article D | null | 18 | | 3 | My Article C | null | 11 | | 4 | My Article B | null | 9 | ... +-----+--------------+-------------+-----+

追記:author_name で group by して降順にすると、著者名はちゃんと現れるのですが今度は article_name がすべて null になってしまいました。同じレコードに、article_name と author_name が両立して入っている状態を作れていないのでしょうか・・


追記2:各レコードのいずれかのカラムが null になってしまうのは UNNEST してしまってるからなと思い、このようなクエリでただカラムとキーを指定できるかなと試してみました。

SQL

1SELECT 2 CASE WHEN e.event_params.key = 'article_name' THEN e.event_params.value.string_value 3 END AS article_name, 4 CASE WHEN e.event_params.key = 'author_name' THEN e.event_params.value.string_value 5 END AS author_name 6FROM 7 `my-new-project.analytics_000000000.events_*` as e 8WHERE 9 event_name = 'view_article'

しかし、BigQuery でこのようなエラーになり、クエリを回せませんでした。

Cannot access field key on a value with type ARRAY<STRUCT<key STRING, value STRUCT<string_value STRING, int_value INT64, float_value FLOAT64, ...>>> at [5:24]

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

guest

回答1

0

自己解決

サブクエリの FROM でいきなり UNNEST をつかうこのようなやりかたで解決しました

SELECT (SELECT value.string_value FROM UNNEST(event_params) WHERE key = 'article_name') AS article_name, (SELECT value.string_value FROM UNNEST(event_params) WHERE key = 'author_name') AS author_name FROM `my-new-project.analytics_000000000.events_*` WHERE event_name = 'view_article'

投稿2020/12/03 12:05

coffeesleep

総合スコア5

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.36%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問