質問編集履歴
2
エラーの危惧とストリーミング後のデータは９０分間バッファとして保存され、削除、変更などの処理ができないようなので諦めましたの文言を追加
title
CHANGED
|
File without changes
|
body
CHANGED
|
@@ -1,7 +1,7 @@
|
|
|
1
1
|
CSVのデータをBigQueryへ５〜６秒おきにストリーミングで挿入しているのですが、luidというレコードデータが既存のデータにある物は省きたいのですが、これは可能でしょうか？？
|
|
2
2
|
当たり前ですが、現状既存のデータに蓄積されてデータが入っております。
|
|
3
3
|
|
|
4
|
-
安直にも挿入の直前でレコードデータを削除も考えたのですが、レコードデータの削除はできないようで、テーブルの削除→再作成→ストリーミング挿入の流れ
|
|
4
|
+
安直にも挿入の直前でレコードデータを削除も考えたのですが、レコードデータの削除はできないようで、テーブルの削除→再作成→ストリーミング挿入の流れも考えたのですが、処理が重くなり、エラーの危惧とストリーミング後のデータは９０分間バッファとして保存され、削除、変更などの処理ができないようなので諦めました。
|
|
5
5
|
|
|
6
6
|
何か良い方法があればご教授頂きたいです。
|
|
7
7
|
よろしくお願いします。
|
1
関数名修正
title
CHANGED
|
File without changes
|
body
CHANGED
|
@@ -35,7 +35,7 @@
|
|
|
35
35
|
|
|
36
36
|
print("end")
|
|
37
37
|
|
|
38
|
-
schedule.every(0.5).seconds.do(
|
|
38
|
+
schedule.every(0.5).seconds.do(stream_upload)
|
|
39
39
|
|
|
40
40
|
while True:
|
|
41
41
|
schedule.run_pending()
|