複数ファイルデータをembulkでバルクインサート

Question

oracleDBのデータ（1000万レコード分）をcsvファイルにして、embulkでBigQueryへバルクインサート処理をしています

100万レコード分のcsvファイルを10ファイル用意して、embulkでBigqueryへバルクインサートするのですが、可能であれば並列処理でバルクインサートしたいです。

実現可能であれば、並列処理方法を教えて頂きたいです。

Comments

[sazi]

「embulk 並列実行」で検索すれば方法はHITします。その上での質問であればもっと具体的に

[raccoondog]

ご指摘有難うございます。正常に処理が実行できました

Answer 1

in:
  type: file
  path_prefix: /path/to/oracle/data # 01 ... 10
  # ..

というファイルを読み込みすれば勝手に並列化されます。
並列数を明示的に指定する場合はmax_threadsを指定してください。

100万エントリを10個同時に読み込みした場合、10個のテーブルをUnionするので、
-cオプションを使って複数回に分けてインサートした方が良いかもしれません。

oracleからデータを取得して10個のファイルに分割するのであれば、oracleからデータを
読み込んでそのままBigqueryに入れた方が速いかもしれません。

• 参考

Comments

[raccoondog]

ご回答有難うございます。
正常に処理が実行されました

[sazi]

＞エントリを10個同時に読み込みした場合、10個のテーブルをUnionするので
embulkが指定の内容からテーブルを識別してunionするんですか？
先ず非効率だし、そんな面倒な事しないと思うんですが、宜しければ文献をお願いします。

[hiroysato]

saziさんご指摘ありがとうございます。

すいません。output-oracleと間違えました。Unionするのでというところは間違いです。無視してください。