Embulkの仕様として、並行で増分バルクインサート可能か？

Question

<目的>
OracleDBのテーブルへレコードがインサートされる度に、BigQueryへバルクインサートさせたい

<現状の処理>
OracleDBのテーブルへインサートされる動作

　1.不定期にデータのインサート処理が実行される
2.並列（複数トラン）でインサート処理が実行される場合もある
3.１トランで最大１万レコード

<検証方法>
1.環境
Win7
embulk-0.9.8.bat
embulk-input-oracle-0.9.3.gem
embulk-output-bigquery-0.4.9.gem
Oracle12c
BigQuery

　2.疑似業務処理は、Oracleプロシージャで、10000レコードインサートしたらコミットし3分間スリープさせる処理をループさせる

　3.Oracleのトリガーでインサート処理がコミットされたらスケジュールジョブを起動し、スケジュールジョブの中でembulkを実行させる

　4.embulkは-cオプションを使って、増分バルクインサートにしている
embulk-0.9.8.bat run config_bq.yml.liquid -c diff.yml

　5.疑似業務処理を１多重で実行すると期待通りの動作になる
（Oracle側へインサートされるレコード数　＝　BigQuer側yへインサートされるレコード数）

　6.疑似業務処理を２多重で実行すると動作が不安定になる
（Oracle側へインサートされるレコード数　≠　BigQuer側yへインサートされるレコード数）

＜確認したい事＞

　Embulkの仕様として、並行で増分バルクインサート可能か？

※定義

※※trigger※※

create or replace trigger embulk_tr

after insert on INPUT_TEST for each row

DECLARE 
	pragma autonomous_transaction;
	L_SEQ_Embulk_Test NUMBER;
begin

	dbms_output.put_line('-------------------------');
	dbms_output.put_line('OracleDB to BigQuery Bulk Insert Start');

    SELECT SEQ_Embulk_Test.NEXTVAL INTO L_SEQ_Embulk_Test FROM DUAL;

	IF INSERTING THEN
		DBMS_SCHEDULER.CREATE_JOB (
		JOB_NAME   => 'Embulk_Test_' || TO_CHAR(L_SEQ_Embulk_Test, 'FM0000000000000000000'),
		JOB_TYPE   => 'EXECUTABLE',
		JOB_ACTION => 'C:\Users\xxxxx\Desktop\embulk\cmd.exe /c C:\Users\xxxxx\Desktop\embulk\oracle_to_bigquery.bat',
		start_date => TO_DATE('2018/11/13 00:00:00','yyyy/mm/dd hh24:mi:ss'),
		end_date   => TO_DATE('2999/12/31 00:00:00','yyyy/mm/dd hh24:mi:ss'),
		auto_drop => TRUE,
		enabled => TRUE
		);
	END IF;

dbms_output.put_line('OracleDB to BigQuery Bulk Insert End');
dbms_output.put_line('-------------------------');

end;
/


※※oracle_to_bigquery.bat※※

set ORACLE_SID=ORCL
set http_proxy=http://ｘｘｘ:ｘｘｘ
set http_proxy_user=ｘｘｘ
set http_proxy_pass=ｘｘｘ
C:\Users\xxxxx\Desktop\embulk\embulk-0.9.8.bat run C:\Users\xxxxx\Desktop\embulk\config_bq_incremental.yml.liquid -c C:\Users\xxxxx\Desktop\embulk\diff.yml >> C:\Users\xxxxx\Desktop\embulk\log\ORA_to_BQ_log003.txt


※※config_bq_incremental.yml.liquid※※
in:
  type: oracle
  path_prefix: null
  driver_path: C:\Users\xxxxx\Desktop\embulkDB\product\12.2.0\dbhome_1\sqldeveloper\jdbc\lib\ojdbc7.jar
  host: ｘｘｘ
  user: xxx
  password: xxxxx
  database: ORCL
  table: INPUT_TEST
  incremental: true
  incremental_columns: [DT]
out: {type: bigquery, auth_method: json_key, json_keyfile: 'C:\Users\xxxxx\Desktop\embulk\My
    First Project-6041ffecfba7.json', project: xxxx, dataset: embulk_test,
  auto_create_table: true, table: users, read_timeout_sec: 360000, open_timeout_sec: 360000,
  send_timeout_sec: 360000, mode: append}

Answer 1

embulk-0.9.8.bat run config_bq.yml.liquid -c diff.yml
が完了しないうちに、別の
embulk-0.9.8.bat run config_bq.yml.liquid -c diff.yml
を動かすというのはembulkは想定していません。

どこかの質問で回答したとおり、トリガを使う場合はfluendのようなストリーム処理の方を使うか
あるいは、同時起動しないように排他制御する必要があると思います。

Comments

[raccoondog]

ご回答有難うございます。
同時起動しないように排他制御する方法がありましたら、ご教示の程宜しくお願い致します。

[hiroysato]

embulkを起動する前にロックファイルを作ってファイルがあったら起動させないとかですかね。

自分なら(1) トリガー&fluentdか、(2) embulk定期実行(トリガーなし)を検討すると思います。