質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.50%
Embulk

Embulkは、CSVデータやアクセスログなどの構造化データを高い信頼性で転送することができる、プラグインベースのバルクデータローダーです。

BigQuery

BigQueryは、Google Cloud Platformが提供しているビッグデータ解析サービス。数TB(テラバイト)またはPB(ペタバイト)の膨大なデータに対し、SQL風のクエリを実行し、高速で集計・分析を行うサービスです。

Q&A

解決済

1回答

1587閲覧

bigqueryにOracleDBのデータを同期したいです。

raccoondog

総合スコア77

Embulk

Embulkは、CSVデータやアクセスログなどの構造化データを高い信頼性で転送することができる、プラグインベースのバルクデータローダーです。

BigQuery

BigQueryは、Google Cloud Platformが提供しているビッグデータ解析サービス。数TB(テラバイト)またはPB(ペタバイト)の膨大なデータに対し、SQL風のクエリを実行し、高速で集計・分析を行うサービスです。

0グッド

0クリップ

投稿2018/10/29 05:15

編集2018/10/29 05:20

前提・実現したいこと

OracleDatabaseのデータに更新があり次第、bigqueryへデータ同期させる環境を構築したいです。

<システム環境>
OS:Solaris 11
DB:Oracle Database 12c
ETLツール:embulk

embulk機能を実装中に以下のエラーメッセージが発生しました。

発生している問題・エラーメッセージ

➀embulkをOSにインストール
➁プラグイン(※1)のインストール
※1
embulk gem install embulk-input-jdbc-0.9.3.gem
embulk gem install embulk-output-jdbc-0.9.3.gem
embulk gem install embulk-output-command-0.9.3.gem

➂プラグインの独立したバンドルを作成
embulk mkbundle bundle

➃gemファイル修正
vi Gemfile

gem 'embulk-output-command' #追記

➄プラグイン追加

embulk bundle install --path=vendor/bundle

実行後、以下のエラーが発生

embulk bundle install --path=vendor/bundle io/console on JRuby shells out to stty for most operations Fetching source index from https://rubygems.org/ Retrying fetcher due to error (2/4) : Bundler::HTTPError Could not fetch specs from https:rubygems.org/ Retrying fetcher due to error (3/4) : Bundler::HTTPError Could not fetch specs from https:rubygems.org/ Retrying fetcher due to error (4/4) : Bundler::HTTPError Could not fetch specs from https:rubygems.org/ Could not fetch specs from https://rubygems.org/

対処法を教えて頂きたいです。

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

guest

回答1

0

ベストアンサー

こんにちは、これでどうですか?

% embulk mkbundle bundle 2018-10-31 21:01:52.120 +0900: Embulk v0.9.9 Initializing bundle... Creating Gemfile Creating .bundle/config Creating embulk/input/example.rb Creating embulk/output/example.rb Creating embulk/filter/example.rb
cd embulk mkbundle bundle

Gemfileを編集

source 'https://rubygems.org/' gem 'embulk' gem 'embulk-input-oracle','~> 0.9.3' gem 'embulk-output-bigquery','~> 0.4.9'

embulk bundle を実行

cd .. ; embulk -b bundle config.yml

投稿2018/10/31 12:08

hiroysato

総合スコア415

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

raccoondog

2018/11/01 01:30

ご回答有難うございます。 教えて頂いた内容で試させて頂きます。
guest

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.50%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問