embulkでGoogle AnalyticsのデータをBigqueryでlocationエラー

Question

前提・実現したいこと

embulk でGoogle Analytics データを Bigquieryに転送しようとしています。
下記URLを参考に実装してみました。
https://qiita.com/godgarden/items/6309f842aeb0eb29a168

データの転送自体は出来ているようなのですが、エラーメッセージが表示されます。
データ転送の確認はBigqueryで直接確認しています。

発生している問題・エラーメッセージ

org.embulk.exec.PartialExecutionException: org.jruby.exceptions.RaiseException: (ArgumentError) unknown keyword: location
        at org.embulk.exec.BulkLoader$LoaderState.buildPartialExecuteException(BulkLoader.java:340)
        at org.embulk.exec.BulkLoader.doRun(BulkLoader.java:566)
        at org.embulk.exec.BulkLoader.access$000(BulkLoader.java:35)
        at org.embulk.exec.BulkLoader$1.run(BulkLoader.java:353)
        at org.embulk.exec.BulkLoader$1.run(BulkLoader.java:350)
        at org.embulk.spi.Exec.doWith(Exec.java:22)
        at org.embulk.exec.BulkLoader.run(BulkLoader.java:350)
        at org.embulk.EmbulkEmbed.run(EmbulkEmbed.java:205)
        at org.embulk.EmbulkRunner.runInternal(EmbulkRunner.java:292)
        at org.embulk.EmbulkRunner.run(EmbulkRunner.java:156)
        at org.embulk.cli.EmbulkRun.runSubcommand(EmbulkRun.java:433)
        at org.embulk.cli.EmbulkRun.run(EmbulkRun.java:90)
        at org.embulk.cli.Main.main(Main.java:64)
Caused by: org.jruby.exceptions.RaiseException: (ArgumentError) unknown keyword: location
        at RUBY.get_job(/root/.embulk/lib/gems/gems/google-api-client-0.10.1/generated/google/apis/bigquery_v2/service.rb:321)
        at RUBY.block in wait_load(/root/.embulk/lib/gems/gems/embulk-output-bigquery-0.6.4/lib/embulk/output/bigquery/bigquery_client.rb:321)
        at RUBY.with_network_retry(/root/.embulk/lib/gems/gems/embulk-output-bigquery-0.6.4/lib/embulk/output/bigquery/google_client.rb:51)
        at RUBY.wait_load(/root/.embulk/lib/gems/gems/embulk-output-bigquery-0.6.4/lib/embulk/output/bigquery/bigquery_client.rb:321)
        at RUBY.block in load(/root/.embulk/lib/gems/gems/embulk-output-bigquery-0.6.4/lib/embulk/output/bigquery/bigquery_client.rb:228)
        at RUBY.with_job_retry(/root/.embulk/lib/gems/gems/embulk-output-bigquery-0.6.4/lib/embulk/output/bigquery/bigquery_client.rb:58)
        at RUBY.load(/root/.embulk/lib/gems/gems/embulk-output-bigquery-0.6.4/lib/embulk/output/bigquery/bigquery_client.rb:168)
        at RUBY.block in load_in_parallel(/root/.embulk/lib/gems/gems/embulk-output-bigquery-0.6.4/lib/embulk/output/bigquery/bigquery_client.rb:156)     

Error: org.jruby.exceptions.RaiseException: (ArgumentError) unknown keyword: location

該当のソースコード

{% assign table_name='vt_test' %}
in:
  type: google_analytics
  auth_method: service_account
  json_key_content: |
    { "type": "service_account", ...}
  view_id: 1XXXXXXXXX
  time_series: "ga:dateHour" # hourly basis
  dimensions:
    - "ga:eventCategory"
    - "ga:eventAction"
    - "ga:eventLabel"
  metrics:
    - "ga:totalEvents"
  start_date: "2020-06-01"
  end_date: "2020-06-02"
out:
  type: bigquery
  auth_method: json_key
  allow_quoted_newlines: 1
  json_keyfile: service_accountのPATH
  path_prefix: /tmp/
  file_ext: .csv.gz
  source_format: CSV
  project: 1XXX
  dataset: test
  mode: append_direct
  auto_create_table: {{ auto_create_table }}
  table: {{ table_name }}
  formatter: {type: csv, charset: UTF-8, delimiter: ',', header_line: false}
  default_timezone: UTC
  encoders:
  - {type: gzip}

試したこと

yamlの設定にlocationを追加したり、エラーメッセージを検索したりしましたが、
解決しませんでした。

Answer 1

先日書いたコメントを詳述します。

不具合の原因

問題は、embulk-input-google_analyticsとembulk-output-bigqueryを組み合わせた際に発生します。

• embulk gem install実行時にプラグインに必要なライブラリの依存関係を確認します。
• embulk-input-google_analyticsは、google-api-client 0.10.1が必要と設定されています。
• embulk-output-bigqueryはgoogle-api-clientの0.33.0未満が必要だと設定されています。
• 二つのプラグインの要求を満たすバージョンは、google-api-client 0.10.1になります。
• 一方で、google-api-client 0.10.1はlocationのオプションが提供されていません。(taichi730さんのコメントから)
• そのため、embulk-output-bigqueryを利用した際にlocationのエラーが発生します。

解決案

あんまりスマートなやり方ではないですが、embulk-output-bigqueryをembulk-input-google_analyticsを
個別に利用する案が使えると思います。

以下のようにプラグインが利用するライブラリを別のディレクトリにインストールしてください。
別ディレクトリでembulk-input-google_analyticsの設定もしてください。

参考: embulk mkbundle または embulk bundle の使い方

embulk mkbundle sample
cd sample/
vi Gemfile

以下のようにembulk-output-bigqueryを追加

source 'https://rubygems.org/'

# No versions are specified for 'embulk' to use the gem embedded in embulk.jar.
# Note that prerelease versions (e.g. "0.9.0.beta") do not match the statement.
# Specify the exact prerelease version (like '= 0.9.0.beta') for prereleases.
gem 'embulk'
gem 'embulk-output-bigquery'

embulk bundle

embulk run -b /path/to/bundle config.yml

2020-06-15 追記

検証はしていませんが、以下のファイルを修正することで暫定で一緒に使えるかもしれません。

~/.embulk/lib/gems/gems/embulk-input-google_analytics-0.1.23/embulk-input-google_analytics.gemspec

変更前

  spec.add_dependency "google-api-client", "0.10.1"

変更後

  spec.add_dependency "google-api-client", [">= 0.10.1", "< 0.33.0"]

もし変な状態になったらembulk gem uninstall でgemを削除してもう一度インストールしてください。

とりえあえず問題は報告しておいたので、近い将来改善されると思います。

Comments

[be_yaann]

ありがとうございます。
別に管理する方法がありましたね。思いつきませんでした。
ひとまずエラーは出なくなりました。

[hiroysato]

回避方法を追記したので、一緒に使いたければ試してみてください。

Answer 2

locationは、Googleアナリティクスではなく、BigQueryのプラグインの方のオプションのはずですね。試しに、out側をbigqueryではなく、stdoutにして標準出力に出力するようにすれば、うまくいくかと思います。

少なくとも最新のembulk-output-bigquery( https://github.com/embulk/embulk-output-bigquery )では、locationパラメーターはoptional扱いですが、

• embulk-output-bigqueryのプラグインをアップデートする
• locationパラメーターを設定してみる

のどちらかを試してみてはいかがでしょうか。

Comments

[be_yaann]

ありがとうございます。
out側を stdoutもしくは、 `embulk preview` で実行するとエラーは出ないので、 `embulk-output-bigquery` 側でおこっている問題のようです。
プラグインのバージョン、locationパラメータの設定は試してみましたが、結果は同じでした。
```
embulk-output-bigquery: 0.6.4
locationパラメーター: nil or US
```

embulk-input-google_analytics を削除し、 `embulk-input-google_spreadsheets` , `embulk-input-mysql` を試してみると、locationがなくてもエラーが出ないので、
embulk-input-google_analytics が何か影響しているのではないかと思っています。

Answer 3

embulk を使ったことがないので、間違っているかもですが。

エラーログからすると、google-api-client gem のバージョンが古すぎるように見えます。
以下のとおり、0.10.1 では引数 location はありません。
https://github.com/googleapis/google-api-ruby-client/blob/cf8ca47083009e23197a2f2719acd6dece229822/generated/google/apis/bigquery_v2/service.rb#L380
google-api-client gem のバージョンを更新して、再試行してみては。

Comments

[be_yaann]

ありがとうございます。
google-api-clientのバージョンは `0.10.1` になっています。

[taichi730]

それは分かっていることです。
google-api-client のバージョンを上げて、再試行してみましたか？

[be_yaann]

はい。最新版にアップデートして試してみましたが、エラーは解決しませんでした。

[taichi730]

一番新しいバージョンだけ残して、残りを削除して、試してみては？

[taichi730]

https://github.com/embulk/embulk-output-bigquery/blob/a4b25bd4b814d9f7f5efb3df0af8fc19a48f0a8f/embulk-output-bigquery.gemspec#L22
を見ると、対応している google-api-client のバージョンは 0.33.0 未満です。
google-api-client の最新バージョンは 0.40.0 のようなので、単に最新版に更新するだけでは解決しないですね。
$ gem install google-api-client -v '<~ 0.32.0'
とかして、embulk が対応しているバージョンをインストールする必要がありそうです。

[hiroysato]

最新版にアップデートというのはどのようなコマンドを入力されたのでしょうか？

embulk gem uninstall google-output-bigquery
embulk gem uninstall google-api-client
したあと
embulk gem install google-output-bigquery
すれば最新のembulk-output-bigqueryと一緒に
google-api-clientの0.33未満がはいると思います。

gem installしてもembulkのプラグインはgemはインストールされないので、
embulk gem installを使ってください。

[hiroysato]

あー、embulk-input-google_analyticsがgoogle-api-client 0.10.1を要求しているため
google-output-bigaueryが新しいgoogle-api-clientを使えないっぽいですね。

このままの場合、入力と出力を別にしないとダメかもしれませんね。