質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
87.20%
Embulk

Embulkは、CSVデータやアクセスログなどの構造化データを高い信頼性で転送することができる、プラグインベースのバルクデータローダーです。

BigQuery

BigQueryは、Google Cloud Platformが提供しているビッグデータ解析サービス。数TB(テラバイト)またはPB(ペタバイト)の膨大なデータに対し、SQL風のクエリを実行し、高速で集計・分析を行うサービスです。

Google Cloud Platform

Google Cloud Platformは、Google社がクラウド上で提供しているサービス郡の総称です。エンドユーザー向けサービスと同様のインフラストラクチャーで運営されており、Webサイト開発から複雑なアプリ開発まで対応可能です。

Oracle Database

Oracle Databaseは、米オラクルが開発・販売を行うリレーショナルデータベース管理システムです。

解決済

embulk-input-bigqueryによるデータ連携

raccoondog
raccoondog

総合スコア75

Embulk

Embulkは、CSVデータやアクセスログなどの構造化データを高い信頼性で転送することができる、プラグインベースのバルクデータローダーです。

BigQuery

BigQueryは、Google Cloud Platformが提供しているビッグデータ解析サービス。数TB(テラバイト)またはPB(ペタバイト)の膨大なデータに対し、SQL風のクエリを実行し、高速で集計・分析を行うサービスです。

Google Cloud Platform

Google Cloud Platformは、Google社がクラウド上で提供しているサービス郡の総称です。エンドユーザー向けサービスと同様のインフラストラクチャーで運営されており、Webサイト開発から複雑なアプリ開発まで対応可能です。

Oracle Database

Oracle Databaseは、米オラクルが開発・販売を行うリレーショナルデータベース管理システムです。

3回答

0評価

0クリップ

2399閲覧

投稿2019/02/13 02:29

編集2019/02/13 02:38

embulk-input-bigqueryプラグインを使って、bigqueryへアップしたOracleデータを、ローカルにあるOracleDBへインサートしたいです。(bigquery側のデータとローカル側のデータは同じテーブルレイアウトになります。)

実行した結果、ローカルに導入済みのプラグイン、定義ファイルについて以下になります。

●●embulkプラグイン●● C:\Users\xxxxxxxxx\Desktop\embulk>embulk-0.9.8.bat gem list 2019-02-13 11:21:25.860 +0900: Embulk v0.9.8 Gem plugin path is: C:\Users\xxxxxxxxx.embulk\lib\gems *** LOCAL GEMS *** addressable (2.5.2) bundler (1.16.0) concurrent-ruby (1.1.4) declarative (0.0.10) declarative-option (0.1.0) did_you_mean (default: 1.0.1) embulk (0.9.8 java) embulk-input-bigquery (0.0.6) embulk-input-jdbc (0.9.3) embulk-input-oracle (0.9.3) embulk-output-bigquery (0.4.9) embulk-output-jdbc (0.7.13) embulk-output-oracle (0.8.0) faraday (0.15.3) google-api-client (0.24.3, 0.19.8) google-cloud-bigquery (1.4.0) google-cloud-core (1.3.0) google-cloud-env (1.0.5) googleauth (0.6.7) httpclient (2.8.3) jar-dependencies (default: 0.3.10) jruby-openssl (0.9.21 java) jruby-readline (1.2.0 java) json (1.8.3 java) jwt (2.1.0) liquid (4.0.0) memoist (0.16.0) mime-types (3.2.2) mime-types-data (3.2018.0812) minitest (default: 5.4.1) msgpack (1.1.0 java) multi_json (1.13.1) multipart-post (2.0.0) net-telnet (default: 0.1.1) os (1.0.0) power_assert (default: 0.2.3) psych (2.2.4 java) public_suffix (3.0.3) rake (default: 10.4.2) rdoc (default: 4.2.0) representable (3.0.4) retriable (3.1.2) signet (0.11.0) test-unit (default: 3.1.1) thread_safe (0.3.6 java) time_with_zone (0.3.1) tzinfo (1.2.5) uber (0.1.0) ●●config_BQ_Oracle.yml●● in: type: bigquery project: 'fluid-emissary-216806' keyfile: 'C:\Users\xxxxxxxxx\Desktop\embulk\My First Project-6041ffecfba7.json' columns: - {name: ORDER_NO, type: string} - {name: RS_TYPE, type: string} - {name: FACTORY_CODE, type: string} - {name: ORG_CODE, type: string} - {name: TRAN_DATE, type: timestamp, format: '%Y/%m/%d'} - {name: HINBAN, type: string} - {name: QTY, type: string} - {name: SLIP_NO, type: string} - {name: ITEM_NO, type: string} - {name: DIVISION_NO, type: string} - {name: FROM_FACTORY_CODE, type: string} - {name: FROM_ORG_CODE, type: string} - {name: FROM_SUBINV_CODE, type: string} - {name: FROM_VALUE_CODE, type: string} - {name: FROM_OPERATOR_NAME, type: string} - {name: TO_FACTORY_CODE, type: string} - {name: TO_ORG_CODE, type: string} - {name: TO_SUBINV_CODE, type: string} - {name: TO_VALUE_CODE, type: string} - {name: TO_OPERATOR_NAME, type: string} - {name: SUB_SYSTEM_TYPE1, type: string} - {name: CANCEL_FLAG, type: string} - {name: ACT_CREATION_DATE, type: timestamp, format: '%Y/%m/%d %H:%M:%S'} - {name: WH_ACT_CREATION_DATE, type: timestamp, format: '%Y/%m/%d %H:%M:%S'} - {name: JOB_CODE, type: string} - {name: UNIT_PRICE, type: string} - {name: ERROR_STATUS, type: string} - {name: DESCRIPTION, type: string} - {name: LOCATION, type: string} - {name: REVISION_NO, type: string} - {name: OPE_CODE, type: string} - {name: BOX_KIND, type: string} - {name: DEMAND_NO, type: string} - {name: SUB_NO, type: string} - {name: TRAFFIC_NO, type: string} - {name: IF_FLAG, type: string} - {name: SELL_BUY_DATA_FLAG, type: string} - {name: SOURCE_ORDER_NO, type: string} - {name: FT_DEFINE_ID, type: string} - {name: FROM_SELL_BUY_ID, type: string} - {name: TO_SELL_BUY_ID, type: string} - {name: CREATION_DATE, type: string} - {name: CREATED_BY, type: string} - {name: LAST_UPDATE_DATE, type: string} - {name: LAST_UPDATED_BY, type: string} - {name: UPDATE_REQUEST_ID, type: string} - {name: TIME_STAMP, type: timestamp, format: '%Y/%m/%d %H:%M:%S'} - {name: INV_UPDATE_FLAG, type: string} - {name: ISSUE_SEQ, type: string} - {name: BACKUP_DATE, type: timestamp, format: '%Y/%m/%d %H:%M:%S'} - {name: SOUMEI_ID, type: string} - {name: GCPCS_IF_FLAG, type: string} - {name: GCPCS_IF_CREATION_DATE, type: string} - {name: RECIEPT_CODE, type: string} - {name: DELIV_BIN_NO, type: string} - {name: DELIV_NO, type: string} - {name: RECV_BIN_NO, type: string} - {name: SUB_SYSTEM_TYPE2, type: string} - {name: SHIP_DATE, type: string} - {name: C_NO, type: string} - {name: T_NO, type: string} - {name: RECV_OFFICE_CODE, type: string} - {name: SR_IF_FLAG, type: string} - {name: SR_IF_CREATION_DATE, type: string} - {name: PS_IF_FLAG, type: string} - {name: PS_IF_CREATION_DATE, type: string} - {name: CUSTOMER_CODE, type: string} - {name: KS_TYPE, type: string} - {name: SUPPLY_SECTION, type: string} - {name: MANAGE_NO, type: string} - {name: SEND_OFFICE_CODE, type: string} - {name: SOUMEI_SLIP_NO, type: string} - {name: SOUMEI_ITEM_NO, type: string} - {name: PS_xxxxxxxxx_HINBAN, type: string} - {name: INVOICE_CASE_INFO_NO, type: string} - {name: GYK_SITE_CODE, type: string} - {name: CASE_NO, type: string} - {name: CASE_SUB_NO, type: string} - {name: FROM_LOCATION, type: string} - {name: TO_LOCATION, type: string} - {name: GYK_TRAN_TYPE, type: string} - {name: INV_INFO_UPDATE_FLAG, type: string} out: {type: oracle, host: 10.1.52.109, port: 1521, database: ORCL, user: system, password: xxxxxxxxx, table: T_RS_TRAN, mode: insert, insert_method: normal, driver_path: 'C:\Users\xxxxxxxxx\Desktop\embulkDB\product\12.2.0\dbhome_1\jdbc\lib\ojdbc8.jar'} ●●実行結果●● C:\Users\xxxxxxxxx\Desktop\embulk>embulk-0.9.8.bat run config_BQ_Oracle.yml 2019-02-13 11:05:35.569 +0900: Embulk v0.9.8 2019-02-13 11:05:36.563 +0900 [WARN] (main): DEPRECATION: JRuby org.jruby.embed.ScriptingContainer is directly injected. 2019-02-13 11:05:40.294 +0900 [INFO] (main): Gem's home and path are set by default: "C:\Users\xxxxxxxxx.embulk\lib\gems" 2019-02-13 11:05:41.908 +0900 [INFO] (main): Started Embulk v0.9.8 WARNING: You are running Ruby 2.3.3, which is nearing end-of-life. The Google Cloud API clients work best on supported versions of Ruby. Consider upgrading to Ruby 2.4 or later. See https://www.ruby-lang.org/en/downloads/branches/ for more info on the Ruby maintenance schedule. To suppress this message, set the GOOGLE_CLOUD_SUPPRESS_RUBY_WARNINGS environment variable. 2019-02-13 11:05:49.544 +0900 [INFO] (0001:transaction): Loaded plugin embulk-input-bigquery (0.0.6) 2019-02-13 11:05:49.669 +0900 [INFO] (0001:transaction): Loaded plugin embulk-output-oracle (0.8.0) org.embulk.exec.PartialExecutionException: org.jruby.exceptions.RaiseException: (NoMethodError) undefined method `encoding' for nil:NilClass at org.embulk.exec.BulkLoader$LoaderState.buildPartialExecuteException(BulkLoader.java:339) at org.embulk.exec.BulkLoader.doRun(BulkLoader.java:565) at org.embulk.exec.BulkLoader.access$000(BulkLoader.java:34) at org.embulk.exec.BulkLoader$1.run(BulkLoader.java:352) at org.embulk.exec.BulkLoader$1.run(BulkLoader.java:349) at org.embulk.spi.Exec.doWith(Exec.java:22) at org.embulk.exec.BulkLoader.run(BulkLoader.java:349) at org.embulk.EmbulkEmbed.run(EmbulkEmbed.java:161) at org.embulk.EmbulkRunner.runInternal(EmbulkRunner.java:292) at org.embulk.EmbulkRunner.run(EmbulkRunner.java:156) at org.embulk.cli.EmbulkRun.runSubcommand(EmbulkRun.java:436) at org.embulk.cli.EmbulkRun.run(EmbulkRun.java:91) at org.embulk.cli.Main.main(Main.java:26) Suppressed: java.lang.NullPointerException at org.embulk.exec.BulkLoader.doCleanup(BulkLoader.java:462) at org.embulk.exec.BulkLoader$3.run(BulkLoader.java:396) at org.embulk.exec.BulkLoader$3.run(BulkLoader.java:393) at org.embulk.spi.Exec.doWith(Exec.java:22) at org.embulk.exec.BulkLoader.cleanup(BulkLoader.java:393) at org.embulk.EmbulkEmbed.run(EmbulkEmbed.java:164) ... 5 more Caused by: org.jruby.exceptions.RaiseException: (NoMethodError) undefined method `encoding' for nil:NilClass at RUBY.compile(uri:classloader:/META-INF/jruby.home/lib/ruby/stdlib/erb.rb:599) at RUBY.initialize(uri:classloader:/META-INF/jruby.home/lib/ruby/stdlib/erb.rb:801) at RUBY.transaction(C:/Users/xxxxxxxxx/.embulk/lib/gems/gems/embulk-input-bigquery-0.0.6/lib/embulk/input/bigquery.rb:28) at RUBY.transaction(uri:classloader:/gems/embulk-0.9.8-java/lib/embulk/input_plugin.rb:58) Error: org.jruby.exceptions.RaiseException: (NoMethodError) undefined method `encoding' for nil:NilClass

embulk-input-bigqueryのバージョンがローカルにある他のプラグインとあわないのでしょうか?

良い質問の評価を上げる

以下のような質問は評価を上げましょう

  • 質問内容が明確
  • 自分も答えを知りたい
  • 質問者以外のユーザにも役立つ

評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

気になる質問をクリップする

クリップした質問は、後からいつでもマイページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

  • プログラミングに関係のない質問
  • やってほしいことだけを記載した丸投げの質問
  • 問題・課題が含まれていない質問
  • 意図的に内容が抹消された質問
  • 過去に投稿した質問と同じ内容の質問
  • 広告と受け取られるような投稿

評価を下げると、トップページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

まだ回答がついていません

会員登録して回答してみよう

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
87.20%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問

同じタグがついた質問を見る

Embulk

Embulkは、CSVデータやアクセスログなどの構造化データを高い信頼性で転送することができる、プラグインベースのバルクデータローダーです。

BigQuery

BigQueryは、Google Cloud Platformが提供しているビッグデータ解析サービス。数TB(テラバイト)またはPB(ペタバイト)の膨大なデータに対し、SQL風のクエリを実行し、高速で集計・分析を行うサービスです。

Google Cloud Platform

Google Cloud Platformは、Google社がクラウド上で提供しているサービス郡の総称です。エンドユーザー向けサービスと同様のインフラストラクチャーで運営されており、Webサイト開発から複雑なアプリ開発まで対応可能です。

Oracle Database

Oracle Databaseは、米オラクルが開発・販売を行うリレーショナルデータベース管理システムです。