OracleDBからembulkを使って、BigQueryへバルクインサートする際の動作仕様を確認しております。
以下の認識で正しいか知りたいです。
embulk.cmd run config.yml.liquid -c diff.yml
正常系:
➀embulkがOracleDBの特定テーブルから特定のレコードを検索
➁embulkが特定のレコードを複数のcsvファイルに書き込み
➂embulkがBigQueryに中間テーブルを生成
➃embulkがBigQueryの中間テーブルから特定テーブルへバルクインサート
➄コミット
➅中間テーブル削除
➆diff.ymlファイルへlast_recodeを書き込み
異常系:
➀embulkがOracleDBの特定テーブルから特定のレコードを検索
➁embulkが特定のレコードを複数のcsvファイルに書き込み
➂embulkがBigQueryに中間テーブルを生成
➃embulkがBigQueryの中間テーブルから特定テーブルへバルクインサート
※➀~➃の処理中に障害発生(ネットワーク断、プロセスハングなど)
➄中間テーブル削除
※diff.ymlファイルへの書き込みは実行されない。
回答1件
あなたの回答
tips
プレビュー