２つのテーブルから特定条件の基、対象レコードを抽出することは可能か

Question

環境：Oracle12c、Windows7、Embulk 0.9.8

Oracleの2つのテーブルを特定条件で結合させて対象レコードを抽出し、embulkでBigQueryにバルクインサートさせたいです

方法論として、

➀Oracleトリガーで2つのテーブルを特定条件で結合させて対象レコードを抽出

⇒以下のようなSQLを使ってみる

select
    A1.BANGOU,A1.NUM,A1.STR,A1.DT
  from
    INPUT_TEST_001 A1,INPUT_TEST_002 B1
  where
    A1.NUM = B1.NUM;

➁スケジュールジョブでembulkを実行

⇒embulkのconfig.ymlに、➀で検索されたレコードだけを指定する

➂embulkでBigQueryにバルクインサート

上記、方法論で実装可能か検討中となります

※開発中のpl/sql

DECLARE W_BANGOU varchar(50)
DECLARE W_NUM varchar(50)
DECLARE W_STR varchar(50)

DECLARE CUR_AAA CURSOR FOR
	SELECT A1.BANGOU
	      ,A1.NUM
	      ,A1.STR
	FROM   INPUT_TEST_001 A1
	INNER JOIN INPUT_TEST_002 B1
	WHERE  A1.NUM = B1.NUM

OPEN CUR_001;

FETCH NEXT FROM CUR_AAA
INTO W_BANGOU,W_NUM,W_STR;

WHILE @@FETCH_STATUS = 0
BEGIN

	INSERT INTO INPUT_TEST_003
	VALUES (
	    W_BANGOU
	   ,W_NUM
	   ,W_STR
	)


	FETCH NEXT FROM CUR_AAA
	INTO W_BANGOU,W_NUM,W_STR;

END

CLOSE CUR_001;
DEALLOCATE CUR_001;

※実行結果

SQL> @C:\Users\xxxx\Desktop\embulk\CURSOR_test_002.sql
 36  

Answer 1

Triggerを使用された連携の質問が最初にあった時に止めた方が良いと忠告しましたが、スルーされたのでその後の質問も静観していました。

出来ないとは思いませんが、開発するには製品レベルのコストが掛かると思います。

製品を開発されていないのであれば、現実的なところでは定周期のタスクで連携する方法でないかと思います。

Comments

[raccoondog]

ご回答ありがとうございます。

検証期間はたくさんありまして、業務要件、システム要件としてもトリガーを使った実装で行う方針です

１つのトリガーで、２つのテーブルから必要レコードのみをカーソル表にとりこみ、embulkでBigqueryへバルクインサートさせたいです。

ご助言ありましたら、何卒宜しくお願い致します。

[sazi]

embulkで連携するためにトリガーでデータを蓄積するだけという事なら敷居は下がるでしょう。
ですが、それはトリガーにする必要もない話（単にタイムスタンプで抽出すればいい話）
トリガーで１件毎に都度連携するなら、色々な排他を考慮せねばなりませんが、考慮されているようには思えません。

[raccoondog]

条件をみなおしまして、１５分に１回動作するバッチをトリガーの条件としました。

１５分に１回、２つのテーブルから同じカラム値を参照して、レコードを抽出し
embulkでバルクインサートさせる想定となります。

[sazi]

>１５分に１回動作するバッチをトリガーの条件
意味がよく分かりません。
また、単に状況だけ述べられているようにしか受け取れず、このコメントでの私の問いに〈排他など）答えているのかどうか分かりません。

[raccoondog]

ご回答有難うございました。
再検討して、トリガーは使わず。別の方法で実現可能か調査することになりました。

Answer 2

何度も書いていますが、TRIGGERを使うと遅くなりますから、バッチで大量のデータを扱うにはお勧めしません。

Oracle 10g 以降はJOINを使うことが推奨されます。

select
A1.BANGOU,A1.NUM,A1.STR,A1.DT
from INPUT_TEST_001 A1 
INNER JOIN INPUT_TEST_002 B1
ON A1.NUM = B1.NUM;

そろそろMarkdown の機能をきちんと覚えては？

Comments

[raccoondog]

ご指摘有難うございます。
Markdownを使って、質問内容更新させて頂きました。
joinを使った方法で試してみます。

[raccoondog]

質問内容更新しました。

※開発中のpl/sqlで試験中です。
※実行結果では、行数だけが表示されました。

やりたいことは、INPUT_TEST_001(実テーブル)とINPUT_TEST_002(実テーブル)から、INPUT_TEST_003(仮想テーブル)へレコードを格納させたいです

Answer 3

Oracleトリガーを使わず、別の方法で実現可能か再検討することになりました。