回答編集履歴
3
推敲
test
CHANGED
|
@@ -16,4 +16,4 @@
|
|
|
16
16
|
|
|
17
17
|
embulk実行後に抽出したものと同じ条件で、データにフラグ立てるような処理が現実的ではないでしょうか。
|
|
18
18
|
|
|
19
|
-
トリガーで連携させようとされているようですけど、１行ごとに連
|
|
19
|
+
トリガーで連携させようとされているようですけど、１行ごとに連携すると、連携用のファイルの競合とか大丈夫なんでしょうかね。
|
2
追記
test
CHANGED
|
@@ -11,3 +11,9 @@
|
|
|
11
11
|
embulkの`out`の`mode`を`replace`にしておけば、追加/更新で動作するはずです。~~
|
|
12
12
|
|
|
13
13
|
※`replace`は置換なので、差分用途ではないようですね。output-bigqueryには`marge`のようなオプションはありませんでした。
|
|
14
|
+
|
|
15
|
+
|
|
16
|
+
|
|
17
|
+
embulk実行後に抽出したものと同じ条件で、データにフラグ立てるような処理が現実的ではないでしょうか。
|
|
18
|
+
|
|
19
|
+
トリガーで連携させようとされているようですけど、１行ごとに連消して連携用のファイル競合とか大丈夫なんでしょうかね。
|
1
変更
test
CHANGED
|
@@ -6,6 +6,8 @@
|
|
|
6
6
|
|
|
7
7
|
連携するデータを限定して件数を極力減らしたいのだと思いますので、作成や更新のタイムスタンプをデータに保持しておき、対象のデータ範囲を限定（例えば前日分）して連携する。
|
|
8
8
|
|
|
9
|
-
その際、追加分だけとはせず、更新分も連携した方が良いと思います。
|
|
9
|
+
~~その際、追加分だけとはせず、更新分も連携した方が良いと思います。
|
|
10
10
|
|
|
11
|
-
embulkの`out`の`mode`を`replace`にしておけば、追加/更新で動作するはずです。
|
|
11
|
+
embulkの`out`の`mode`を`replace`にしておけば、追加/更新で動作するはずです。~~
|
|
12
|
+
|
|
13
|
+
※`replace`は置換なので、差分用途ではないようですね。output-bigqueryには`marge`のようなオプションはありませんでした。
|