embulkの動作仕様(-Cオプション)について

Question

OracleDBからembulkを使って、BigQueryへバルクインサートする際の動作仕様を確認しております。

以下の認識で正しいか知りたいです。

embulk.cmd run config.yml.liquid -c diff.yml

正常系：
➀embulkがOracleDBの特定テーブルから特定のレコードを検索
➁embulkが特定のレコードを複数のcsvファイルに書き込み
➂embulkがBigQueryに中間テーブルを生成
➃embulkがBigQueryの中間テーブルから特定テーブルへバルクインサート
➄コミット
➅中間テーブル削除
➆diff.ymlファイルへlast_recodeを書き込み

異常系：
➀embulkがOracleDBの特定テーブルから特定のレコードを検索
➁embulkが特定のレコードを複数のcsvファイルに書き込み
➂embulkがBigQueryに中間テーブルを生成
➃embulkがBigQueryの中間テーブルから特定テーブルへバルクインサート

※➀～➃の処理中に障害発生(ネットワーク断、プロセスハングなど)

➄中間テーブル削除

※diff.ymlファイルへの書き込みは実行されない。

Comments

[yoorwm]

タイトルだとCが大文字で質問文中では小文字なのは意図していますか？大文字と小文字では意味合いが変わる事があります。

[raccoondog]

ご指摘有難うございます。-c(小文字)となります。

Answer 1

diff.ymlの生成という意味では良いかと思います。

細かい点がいくつか

正常系

➁embulkが特定のレコードを複数のcsvファイルに書き込み

CSVにはしません。Embulkの内部形式にします。

➅中間テーブル削除
➆diff.ymlファイルへlast_recodeを書き込み

多分これで良いような気がしますが、この順番は逆だったかも..

異常系：

➄中間テーブル削除

ネットワークが切れたらテーブルも削除できない等、
必ずしも中間テーブルは削除されないと思います。