embulk-output-bigqueryでundefined method `timeout_sec=' のエラーを解決したい

Question

embulk-output-bigqueryでBigQueryにデータを取り込もうとしているときに、エラーが発生しました。

org.embulk.exec.PartialExecutionException: org.jruby.exceptions.RaiseException: (NoMethodError) undefined method `timeout_sec=' for #<Google::Apis::RequestOptions:0x15167e1>
Did you mean?  timeout
        at org.embulk.exec.BulkLoader$LoaderState.buildPartialExecuteException(BulkLoader.java:340)
        at org.embulk.exec.BulkLoader.doRun(BulkLoader.java:566)
        at org.embulk.exec.BulkLoader.access$000(BulkLoader.java:35)
        at org.embulk.exec.BulkLoader$1.run(BulkLoader.java:353)
        at org.embulk.exec.BulkLoader$1.run(BulkLoader.java:350)
        at org.embulk.spi.Exec.doWith(Exec.java:22)
        at org.embulk.exec.BulkLoader.run(BulkLoader.java:350)
        at org.embulk.EmbulkEmbed.run(EmbulkEmbed.java:178)
        at org.embulk.EmbulkRunner.runInternal(EmbulkRunner.java:292)
        at org.embulk.EmbulkRunner.run(EmbulkRunner.java:156)
        at org.embulk.cli.EmbulkRun.runSubcommand(EmbulkRun.java:433)
        at org.embulk.cli.EmbulkRun.run(EmbulkRun.java:90)
        at org.embulk.cli.Main.main(Main.java:64)
        Suppressed: java.lang.NullPointerException
                at org.embulk.exec.BulkLoader.doCleanup(BulkLoader.java:463)
                at org.embulk.exec.BulkLoader$3.run(BulkLoader.java:397)
                at org.embulk.exec.BulkLoader$3.run(BulkLoader.java:394)
                at org.embulk.spi.Exec.doWith(Exec.java:22)
                at org.embulk.exec.BulkLoader.cleanup(BulkLoader.java:394)
                at org.embulk.EmbulkEmbed.run(EmbulkEmbed.java:181)
                ... 5 more

embulk run したファイルのoutの部分は、以下です

 out:
    type: bigquery
    mode: append
    auth_method: compute_engine
    project: myproject
    dataset: mydataset
    table: test_sf
    source_format: CSV

stdoutすると普通に出力されるため、おそらくgemファイルの方でなにか問題があるのだと考えています。
というのも、windows環境で作業しているからかembulk-output-bigqueryをインストールする際にpermission errorで最新のバージョンがインストールできず、2年前に作成されたバージョンしかインストールができませんでした。アップデートをすることもできません。これについてはissueも立ち上がっていて、その質問者の方はバージョンを落とした状態でwindowsにインストールすることで解決したようなので、これしか手段がないように思われます。

このように、一番問題解決に近そうなアップデートの手段が試せない状態ではありますが、他の要因があればぜひともお教えいただきたいです。よろしくお願い致します。

Answer 1

こんにちは、

以下を教えてください

• ご利用のOS
• Javaのバージョン: java -version
• Embulkのバージョン:
• プラグインのバージョン:

※ embulkのバージョンとプラグインのバージョンはembulk runで最初の方に出てきます。

windows環境で作業しているからかembulk-output-bigqueryをインストールする際にpermission errorで最新のバージョンがインストールできず、2年前に作成されたバージョンしかインストールができませんでした。

• こちらはgem install embulk-output-bigqueryを実行した時にエラーになったということですか？、
• Permission errorというログが出たのでしょうか？、詳しいログを添付していただけますか？

以下のコマンドで最新のembulkが導入できると思うのでお試しください。インストールごembulk install embulk-output-bigqueryも併せて実行してください。
その他関連するプラグインも入れてください。その後エラーになったロードコマンドをもう一度お試しください。

PowerShell -Command "& {[Net.ServicePointManager]::SecurityProtocol = [Net.SecurityProtocolType]::TLS12; Invoke-WebRequest http://dl.embulk.org/embulk-latest.jar -OutFile embulk.bat}"

余談ですが、embulk selfupdateはWindowsでは動きません。

% embulk selfupdate
2019-08-27 16:08:54.243 +0900: Embulk v0.9.14
Checking the latest version...
Found a newer version 0.9.18.
Downloading https://dl.bintray.com/embulk/maven/embulk-0.9.18.jar ...
java.nio.file.FileSystemException: C:\Users\user\embulk.bat: プロセスはファイルにアクセスできません。別のプロセスが使用中です。

        at sun.nio.fs.WindowsException.translateToIOException(Unknown Source)
        at sun.nio.fs.WindowsException.rethrowAsIOException(Unknown Source)
        at sun.nio.fs.WindowsException.rethrowAsIOException(Unknown Source)
        at sun.nio.fs.WindowsFileCopy.move(Unknown Source)
        at sun.nio.fs.WindowsFileSystemProvider.move(Unknown Source)
        at java.nio.file.Files.move(Unknown Source)
        at org.embulk.cli.EmbulkSelfUpdate.updateSelfWithExceptions(EmbulkSelfUpdate.java:119)
        at org.embulk.cli.EmbulkSelfUpdate.updateSelf(EmbulkSelfUpdate.java:30)
        at org.embulk.cli.EmbulkRun.runSubcommand(EmbulkRun.java:363)
        at org.embulk.cli.EmbulkRun.run(EmbulkRun.java:91)
        at org.embulk.cli.Main.main(Main.java:60)
java.nio.file.FileSystemException: C:\Users\user\embulk.bat: プロセスはファイルにアクセスできません。別のプロセスが使用中です。

試したのはWindows 10 1803です。

2019-08-27 17:08 追記

gem install embulk-output-bigquery
...
Successfully installed time_with_zone-0.3.1
Fetching: embulk-output-bigquery-0.6.0.gem (100%)
ERROR:  While executing gem ... (Errno::EACCES)
    Permission denied - File.symlink

Comments

[imstudying]

ご回答頂きありがとうございます。

OSはwindows10
Javaのバージョンは1.8.0_221
embulkのバージョンは v0.9.17
プラグイン（embulk-output-bigquery）のバージョンは0.4.3
です。

言葉足らずで申し訳ございません、こちらのエラーはembulk run config.ymlを実行した際に発生したものです。また、プラグインは予めembulk gem installで行いました。

ただ、こちらのエラーは、PCのフォルダをたどってembulk-output-bigqueryのrubyファイルを修正することで解決いたしました（正確には、次のエラーが発生したのでそちらの対処にあたることで、問題解決を図れそう）。重ねて、ご回答頂き、ありがとうございました！

[hiroysato]

解決できそうでなによりです。

なるほど Permission Errorというのは上のことですね。
ちなみにissueがあがっているというのはどれのことでしょうか？
またもし解決したら後学のために対処方法を教えていただけると助かります。

[hiroysato]

自己解決しました。Issueはこれですね。https://github.com/embulk/embulk-output-bigquery/issues/80

[hiroysato]

embulk-output-bigquery 0.6.1をWindowsでインストールできるようにしてもらったのでご確認ください。

[imstudying]

こちらのプラグインのバージョンを上げたことでエラーが解決し、無事動かすことができました！本当にありがとうございます！