質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.50%
Embulk

Embulkは、CSVデータやアクセスログなどの構造化データを高い信頼性で転送することができる、プラグインベースのバルクデータローダーです。

BigQuery

BigQueryは、Google Cloud Platformが提供しているビッグデータ解析サービス。数TB(テラバイト)またはPB(ペタバイト)の膨大なデータに対し、SQL風のクエリを実行し、高速で集計・分析を行うサービスです。

Oracle Database

Oracle Databaseは、米オラクルが開発・販売を行うリレーショナルデータベース管理システムです。

Q&A

解決済

1回答

492閲覧

OracleDB⇒BigQueryへの差分データバルクインサート時にエラー

raccoondog

総合スコア77

Embulk

Embulkは、CSVデータやアクセスログなどの構造化データを高い信頼性で転送することができる、プラグインベースのバルクデータローダーです。

BigQuery

BigQueryは、Google Cloud Platformが提供しているビッグデータ解析サービス。数TB(テラバイト)またはPB(ペタバイト)の膨大なデータに対し、SQL風のクエリを実行し、高速で集計・分析を行うサービスです。

Oracle Database

Oracle Databaseは、米オラクルが開発・販売を行うリレーショナルデータベース管理システムです。

0グッド

0クリップ

投稿2018/11/07 02:24

oracledatabaseのデータをBigQueryへ初期同期は成功したのですが
差分データの同期が失敗します。

TCPポートのコネクションエラーが発生していたので、ポート予約をしましたが状況が変わらないです。OSはWindows7、embulkは0.9.8、OracleDBは12cを利用しております。

原因調査中の状況になります。

C:\Users\yazaki\Desktop\embulk>embulk-0.9.8.bat run config_bq.yml 2018-11-07 09:07:20.938 +0900: Embulk v0.9.8 2018-11-07 09:07:21.915 +0900 [WARN] (main): DEPRECATION: JRuby org.jruby.embed.ScriptingContainer is directly injected. 2018-11-07 09:07:25.725 +0900 [INFO] (main): Gem's home and path are set by default: "C:\Users\yazaki.embulk\lib\gems" 2018-11-07 09:07:27.320 +0900 [INFO] (main): Started Embulk v0.9.8 2018-11-07 09:07:27.430 +0900 [INFO] (0001:transaction): Loaded plugin embulk-input-oracle (0.9.3) 2018-11-07 09:07:33.837 +0900 [INFO] (0001:transaction): Loaded plugin embulk-output-bigquery (0.4.9) 2018-11-07 09:07:33.884 +0900 [INFO] (0001:transaction): Connecting to jdbc:oracle:thin:@A0430-02396:1521:ORCL options {oracle.jdbc.ReadTimeout=1800000, user=system, password=***, oracle.net.CONNECT_TIMEOUT=300000} 2018-11-07 09:07:34.436 +0900 [INFO] (0001:transaction): Using JDBC Driver 12.1.0.2.0 2018-11-07 09:07:34.545 +0900 [INFO] (0001:transaction): Using local thread executor with max_threads=8 / output tasks 4 = input tasks 1 * 4 2018-11-07 09:07:34.666 +0900 [INFO] (0001:transaction): embulk-output-bigquery: Get dataset... fluid-emissary-216806:embulk_test org.embulk.exec.PartialExecutionException: org.jruby.exceptions.RaiseException: (ConnectionFailed) Connection refused - Failed to open TCP connection to www.googleapis.com:443 (Connection refused - connect(2) for "www.googleapis.com" port 443) at org.embulk.exec.BulkLoader$LoaderState.buildPartialExecuteException(BulkLoader.java:339) at org.embulk.exec.BulkLoader.doRun(BulkLoader.java:565) at org.embulk.exec.BulkLoader.access$000(BulkLoader.java:34) at org.embulk.exec.BulkLoader$1.run(BulkLoader.java:352) at org.embulk.exec.BulkLoader$1.run(BulkLoader.java:349) at org.embulk.spi.Exec.doWith(Exec.java:22) at org.embulk.exec.BulkLoader.run(BulkLoader.java:349) at org.embulk.EmbulkEmbed.run(EmbulkEmbed.java:161) at org.embulk.EmbulkRunner.runInternal(EmbulkRunner.java:292) at org.embulk.EmbulkRunner.run(EmbulkRunner.java:156) at org.embulk.cli.EmbulkRun.runSubcommand(EmbulkRun.java:436) at org.embulk.cli.EmbulkRun.run(EmbulkRun.java:91) at org.embulk.cli.Main.main(Main.java:26) Suppressed: java.lang.NullPointerException at org.embulk.exec.BulkLoader.doCleanup(BulkLoader.java:462) at org.embulk.exec.BulkLoader$3.run(BulkLoader.java:396) at org.embulk.exec.BulkLoader$3.run(BulkLoader.java:393) at org.embulk.spi.Exec.doWith(Exec.java:22) at org.embulk.exec.BulkLoader.cleanup(BulkLoader.java:393) at org.embulk.EmbulkEmbed.run(EmbulkEmbed.java:164) ... 5 more Caused by: org.jruby.exceptions.RaiseException: (ConnectionFailed) Connection refused - Failed to open TCP connection to www.googleapis.com:443 (Connection refused - connect(2) for "www.googleapis.com" port 443) at RUBY.block in call(C:/Users/yazaki/.embulk/lib/gems/gems/faraday-0.15.3/lib/faraday/adapter/net_http.rb:48) at RUBY.with_net_http_connection(C:/Users/yazaki/.embulk/lib/gems/gems/faraday-0.15.3/lib/faraday/adapter/net_http.rb:92) at RUBY.call(C:/Users/yazaki/.embulk/lib/gems/gems/faraday-0.15.3/lib/faraday/adapter/net_http.rb:38) at RUBY.call(C:/Users/yazaki/.embulk/lib/gems/gems/faraday-0.15.3/lib/faraday/request/url_encoded.rb:15) at RUBY.build_response(C:/Users/yazaki/.embulk/lib/gems/gems/faraday-0.15.3/lib/faraday/rack_builder.rb:143) at RUBY.run_request(C:/Users/yazaki/.embulk/lib/gems/gems/faraday-0.15.3/lib/faraday/connection.rb:387) at RUBY.post(C:/Users/yazaki/.embulk/lib/gems/gems/faraday-0.15.3/lib/faraday/connection.rb:175) at RUBY.fetch_access_token(C:/Users/yazaki/.embulk/lib/gems/gems/signet-0.11.0/lib/signet/oauth_2/client.rb:996) at RUBY.fetch_access_token!(C:/Users/yazaki/.embulk/lib/gems/gems/signet-0.11.0/lib/signet/oauth_2/client.rb:1036) at RUBY.fetch_access_token!(C:/Users/yazaki/.embulk/lib/gems/gems/googleauth-0.6.7/lib/googleauth/signet.rb:69) at RUBY.apply!(C:/Users/yazaki/.embulk/lib/gems/gems/googleauth-0.6.7/lib/googleauth/signet.rb:45) at RUBY.apply!(C:/Users/yazaki/.embulk/lib/gems/gems/googleauth-0.6.7/lib/googleauth/service_account.rb:95) at RUBY.apply_request_options(C:/Users/yazaki/.embulk/lib/gems/gems/google-api-client-0.24.3/lib/google/apis/core/http_command.rb:313) at RUBY.execute_once(C:/Users/yazaki/.embulk/lib/gems/gems/google-api-client-0.24.3/lib/google/apis/core/http_command.rb:289) at RUBY.block in execute(C:/Users/yazaki/.embulk/lib/gems/gems/google-api-client-0.24.3/lib/google/apis/core/http_command.rb:104) at RUBY.block in retriable(C:/Users/yazaki/.embulk/lib/gems/gems/retriable-3.1.2/lib/retriable.rb:61) at org.jruby.RubyFixnum.times(org/jruby/RubyFixnum.java:305) at RUBY.retriable(C:/Users/yazaki/.embulk/lib/gems/gems/retriable-3.1.2/lib/retriable.rb:56) at RUBY.block in execute(C:/Users/yazaki/.embulk/lib/gems/gems/google-api-client-0.24.3/lib/google/apis/core/http_command.rb:101) at RUBY.block in retriable(C:/Users/yazaki/.embulk/lib/gems/gems/retriable-3.1.2/lib/retriable.rb:61) at org.jruby.RubyFixnum.times(org/jruby/RubyFixnum.java:305) at RUBY.retriable(C:/Users/yazaki/.embulk/lib/gems/gems/retriable-3.1.2/lib/retriable.rb:56) at RUBY.execute(C:/Users/yazaki/.embulk/lib/gems/gems/google-api-client-0.24.3/lib/google/apis/core/http_command.rb:93) at RUBY.execute_or_queue_command(C:/Users/yazaki/.embulk/lib/gems/gems/google-api-client-0.24.3/lib/google/apis/core/base_service.rb:360) at RUBY.get_dataset(C:/Users/yazaki/.embulk/lib/gems/gems/google-api-client-0.24.3/generated/google/apis/bigquery_v2/service.rb:128) at RUBY.block in get_dataset(C:/Users/yazaki/.embulk/lib/gems/gems/embulk-output-bigquery-0.4.9/lib/embulk/output/bigquery/bigquery_client.rb:394) at RUBY.with_network_retry(C:/Users/yazaki/.embulk/lib/gems/gems/embulk-output-bigquery-0.4.9/lib/embulk/output/bigquery/google_client.rb:82) at RUBY.get_dataset(C:/Users/yazaki/.embulk/lib/gems/gems/embulk-output-bigquery-0.4.9/lib/embulk/output/bigquery/bigquery_client.rb:394) at RUBY.auto_create(C:/Users/yazaki/.embulk/lib/gems/gems/embulk-output-bigquery-0.4.9/lib/embulk/output/bigquery.rb:289) at RUBY.transaction(C:/Users/yazaki/.embulk/lib/gems/gems/embulk-output-bigquery-0.4.9/lib/embulk/output/bigquery.rb:344) at RUBY.transaction(uri:classloader:/gems/embulk-0.9.8-java/lib/embulk/output_plugin.rb:64) Error: org.jruby.exceptions.RaiseException: (ConnectionFailed) Connection refused - Failed to open TCP connection to www.googleapis.com:443 (Connection refused - connect(2) for "www.googleapis.com" port 443) C:\Users\yazaki\Desktop\embulk>
C:\Users\yazaki\Desktop\embulk>type seed_bq.yml in: type: oracle driver_path: C:\Users\yazaki\Desktop\embulkDB\product\12.2.0\dbhome_1\sqldeveloper\jdbc\lib\ojdbc7.jar host: xxxx user: xxxx password: xxx database: xxx table: INPUT_TEST out: type: bigquery auth_method: json_key json_keyfile: C:\Users\yazaki\Desktop\embulk\My First Project-6041ffecfba7.json project: xxxx dataset: xxxx auto_create_table: true table: users

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

sazi

2018/11/07 02:44

差分とはどういう状況ですか?追加のみ?
raccoondog

2018/11/07 03:05

OracleDB側のテストテーブルへレコード追加したのみ。となります。
sazi

2018/11/07 03:22

因みに、bigquery側のデータを空にして同じデータで処理しても同じエラーが発生するでしょうか?
raccoondog

2018/11/07 04:35

bigguery側のデータを空にして、初期同期を実施しますと同じエラーが出ます。前回の初期同期の際には正常に実行されたのですが、エラーが出てしまいました。
sazi

2018/11/07 04:41

では、エラーどおり接続の問題だと思われます。
raccoondog

2018/11/07 05:37

ネットワーク構成は何も変更していない状況です。突然に接続エラーが発生したのか不明の状況となります
sazi

2018/11/07 05:46

前の解決の際に接続が安定しないという話がありませんでしたか?初期同期に立ち返っても今回と同じエラーになるのではないでしょうか
raccoondog

2018/11/07 08:21

ご指摘有難うございました。 ネットワーク環境の違いに気づき、正常に処理が走りました。
guest

回答1

0

自己解決

ご指摘有難うございました。 ネットワーク環境の違いに気づき、正常に処理が走りました。

投稿2018/11/20 01:06

raccoondog

総合スコア77

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.50%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問