質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
87.20%
Embulk

Embulkは、CSVデータやアクセスログなどの構造化データを高い信頼性で転送することができる、プラグインベースのバルクデータローダーです。

BigQuery

BigQueryは、Google Cloud Platformが提供しているビッグデータ解析サービス。数TB(テラバイト)またはPB(ペタバイト)の膨大なデータに対し、SQL風のクエリを実行し、高速で集計・分析を行うサービスです。

受付中

digdagでBigQueryにロードする時に生じるruntimeエラーの解消。

KyoheyKosugi
KyoheyKosugi

総合スコア13

Embulk

Embulkは、CSVデータやアクセスログなどの構造化データを高い信頼性で転送することができる、プラグインベースのバルクデータローダーです。

BigQuery

BigQueryは、Google Cloud Platformが提供しているビッグデータ解析サービス。数TB(テラバイト)またはPB(ペタバイト)の膨大なデータに対し、SQL風のクエリを実行し、高速で集計・分析を行うサービスです。

0回答

0評価

1クリップ

144閲覧

投稿2022/05/13 15:59

digdag run text.digで生じるruntimeエラーを解消したい。

エラー内容

digdag run text.dig --no-saveを実行すると

error_text

error: * +training2+load_to_bq: Command failed with code 1 (runtime)

が発生して、BigQueryにデータをロードできない。
これをロードできるようにしたい。

試したこと

Embulk run config.yml.liquidを実行した時は、問題なくロードできた。
スペルミス等ないかチェック
恐らく、digファイルの方に問題があると思うが(エラー文の通り)解決方法が見つからなかったため、質問させてください。

ファイル

sec/text.dig

timezone: Asia/Tokyo _export: dataset: myname table: test +load_to_bq: sh>: embulk run config.yml.liquid

sec/config.yml.liquid

in: type: file path_prefix: <<指定のpass>>/input_data_1.csv parser: charset: UTF-8 newline: LF type: csv delimiter: ',' quote: '"' escape: '"' trim_if_not_quoted: false skip_header_lines: 1 allow_extra_columns: false allow_optional_columns: false columns: - {name: report_date, type: timestamp, format: '%Y-%m-%d %H:%M:%S'} - {name: account_id, type: long} - {name: campaign_id, type: long} - {name: impressions, type: long} - {name: clicks, type: long} - {name: costs, type: double} - {name: conversions, type: long} out: type: bigquery auth_method: json_key json_keyfile: <<指定のpass>>/etl-training_json_keyfile.json dataset: {{env.dataset}} auto_create_dataset: true auto_create_table: true table: {{env.table}}

このほか、データを読み込むのに必要なCSVファイルとBigQueryの認証に必要なファイルは配置済み

良い質問の評価を上げる

以下のような質問は評価を上げましょう

  • 質問内容が明確
  • 自分も答えを知りたい
  • 質問者以外のユーザにも役立つ

評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

気になる質問をクリップする

クリップした質問は、後からいつでもマイページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

  • プログラミングに関係のない質問
  • やってほしいことだけを記載した丸投げの質問
  • 問題・課題が含まれていない質問
  • 意図的に内容が抹消された質問
  • 過去に投稿した質問と同じ内容の質問
  • 広告と受け取られるような投稿

評価を下げると、トップページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

68user

2022/05/13 17:17

普通は error: の前にエラー内容が出ていると思うんですが、出てないですか?
KyoheyKosugi

2022/05/14 01:37

すごい長くなるのですが、こんな感じです。 強いて言うなら「Task failed with unexpected error: Command failed with code 1」だと思うのですが、結局同じで、、、 2022-05-14 00:42:14 +0900: Digdag v0.10.4 WARNING: An illegal reflective access operation has occurred WARNING: Illegal reflective access by org.skife.jdbi.cglib.core.ReflectUtils$1 (file:/usr/local/Cellar/digdag/0.10.4_1/libexec/digdag-0.10.4.jar) to method java.lang.ClassLoader.defineClass(java.lang.String,byte[],int,int,java.security.ProtectionDomain) WARNING: Please consider reporting this to the maintainers of org.skife.jdbi.cglib.core.ReflectUtils$1 WARNING: Use --illegal-access=warn to enable warnings of further illegal reflective access operations WARNING: All illegal access operations will be denied in a future release 2022-05-14 00:42:17 +0900 [WARN] (main): Using a new session time 2022-05-14T00:00:00+09:00. 2022-05-14 00:42:17 +0900 [INFO] (main): Starting a new session project id=1 workflow name=training2 session_time=2022-05-14T00:00:00+09:00 2022-05-14 00:42:17 +0900 [INFO] (0020@[0:default]+training2+load_to_bq): sh>: embulk run config1.yml.liquid 2022-05-14 00:42:18.413 +0900: Embulk v0.9.24 Exception in thread "main" java.lang.NoClassDefFoundError: javax/xml/bind/JAXBException at org.apache.bval.jsr303.ConfigurationImpl.parseValidationXml(ConfigurationImpl.java:268) at org.apache.bval.jsr303.ConfigurationImpl.prepare(ConfigurationImpl.java:258) at org.apache.bval.jsr303.ConfigurationImpl.doPrivBuildValidatorFactory(ConfigurationImpl.java:248) at org.apache.bval.jsr303.util.SecureActions$5.run(SecureActions.java:131) at org.apache.bval.jsr303.util.SecureActions$5.run(SecureActions.java:129) at org.apache.bval.jsr303.ConfigurationImpl.run(ConfigurationImpl.java:337) at org.apache.bval.jsr303.ConfigurationImpl.buildValidatorFactory(ConfigurationImpl.java:244) at org.embulk.config.ModelManager.<init>(ModelManager.java:24) at org.embulk.EmbulkEmbed$Bootstrap.<init>(EmbulkEmbed.java:52) at org.embulk.cli.EmbulkRun.runSubcommand(EmbulkRun.java:409) at org.embulk.cli.EmbulkRun.run(EmbulkRun.java:90) at org.embulk.cli.Main.main(Main.java:64) Caused by: java.lang.ClassNotFoundException: javax.xml.bind.JAXBException at java.base/jdk.internal.loader.BuiltinClassLoader.loadClass(BuiltinClassLoader.java:581) at java.base/jdk.internal.loader.ClassLoaders$AppClassLoader.loadClass(ClassLoaders.java:178) at java.base/java.lang.ClassLoader.loadClass(ClassLoader.java:522) ... 12 more 2022-05-14 00:42:19 +0900 [ERROR] (0020@[0:default]+training2+load_to_bq): Task failed with unexpected error: Command failed with code 1 java.lang.RuntimeException: Command failed with code 1 at io.digdag.standards.operator.ShOperatorFactory$ShOperator.runCode(ShOperatorFactory.java:121) at io.digdag.standards.operator.ShOperatorFactory$ShOperator.runTask(ShOperatorFactory.java:88) at io.digdag.util.BaseOperator.run(BaseOperator.java:35) at io.digdag.core.agent.OperatorManager.callExecutor(OperatorManager.java:399) at io.digdag.cli.Run$OperatorManagerWithSkip.callExecutor(Run.java:709) at io.digdag.core.agent.OperatorManager.runWithWorkspace(OperatorManager.java:308) at io.digdag.core.agent.OperatorManager.lambda$runWithHeartbeat$2(OperatorManager.java:152) at io.digdag.core.agent.LocalWorkspaceManager.withExtractedArchive(LocalWorkspaceManager.java:25) at io.digdag.core.agent.OperatorManager.runWithHeartbeat(OperatorManager.java:150) at io.digdag.core.agent.OperatorManager.run(OperatorManager.java:133) at io.digdag.cli.Run$OperatorManagerWithSkip.run(Run.java:691) at io.digdag.core.agent.MultiThreadAgent.lambda$null$0(MultiThreadAgent.java:132) at java.base/java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:515) at java.base/java.util.concurrent.FutureTask.run(FutureTask.java:264) at java.base/java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1128) at java.base/java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:628) at java.base/java.lang.Thread.run(Thread.java:829) 2022-05-14 00:42:19 +0900 [INFO] (0020@[0:default]+training2^failure-alert): type: notify error: * +training2+load_to_bq: Command failed with code 1 (runtime)
68user

2022/05/14 01:48

> java.lang.NoClassDefFoundError: javax/xml/bind/JAXBException 出てるじゃないですか。これでぐぐってください。
KyoheyKosugi

2022/05/14 02:44

ありがとうございます! 問題の原因は分かりました! ただ、解決策が - --add-modules=java.xml.bind →現行バージョンでは使えない - バージョンを8まで下げる。→現行18なのだが、そこまで下げて良い?(記事が大体2018とかに書かれているため、その時のバージョンが9とか) - mavenファイルいじる →作ってないのだが一体どこからいじれば? という状況で手詰まりしております。 javaに疎く大変申し訳ありませんが、もしお分かりでしたらご教授いただきたく存じます。
KyoheyKosugi

2022/05/15 00:08

ありがとうございます! バージョンダウンするしかない感じですね、、、 参考になりました!

まだ回答がついていません

会員登録して回答してみよう

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
87.20%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問

同じタグがついた質問を見る

Embulk

Embulkは、CSVデータやアクセスログなどの構造化データを高い信頼性で転送することができる、プラグインベースのバルクデータローダーです。

BigQuery

BigQueryは、Google Cloud Platformが提供しているビッグデータ解析サービス。数TB(テラバイト)またはPB(ペタバイト)の膨大なデータに対し、SQL風のクエリを実行し、高速で集計・分析を行うサービスです。