質問編集履歴
4
状況更新
test
CHANGED
|
File without changes
|
test
CHANGED
|
@@ -1,21 +1,23 @@
|
|
|
1
|
-
|
|
1
|
+
Cloud Storageのバケットにあるデータ(csvファイル)をBigQueryへ繰り返し転送しようと考えています。
|
|
2
2
|
|
|
3
3
|
|
|
4
4
|
|
|
5
|
-
転送設定の中で、スケジュール項目を参照すると最短許容時間が12時間となっていました。
|
|
6
|
-
|
|
7
|
-
|
|
5
|
+
実装方法は以下を検討しています。
|
|
8
6
|
|
|
9
7
|
|
|
10
8
|
|
|
9
|
+
➀OracleDBのデータをcsv出力
|
|
10
|
+
|
|
11
|
+
➁cloud SDKのgsutilコマンドでGCSのバケットへデータ転送
|
|
12
|
+
|
|
11
|
-
|
|
13
|
+
➂Google Cloud Schedulerを利用して、bq loadコマンドを登録しGCSのバケットにあるcsvデータを定期的にbigQueryへ同期
|
|
12
14
|
|
|
13
15
|
|
|
14
16
|
|
|
17
|
+
|
|
18
|
+
|
|
15
|
-
|
|
19
|
+
➂のbq loadコマンドを登録したいのですが、ジョブの作成において、「ターゲット」がpub/sub、APP Engine HTTP、HTTPしかなく、登録が出来ない状況となります。
|
|
16
20
|
|
|
17
21
|
|
|
18
22
|
|
|
19
|
-
|
|
23
|
+
ジョブ登録方法を知りたいです。
|
|
20
|
-
|
|
21
|
-
Google Cloud Schedulerを利用して、bq loadコマンドを登録して、GCSのバケットにあるcsvデータを定期的にbigQueryへ同期させることは可能でしょうか？
|
3
状況更新
test
CHANGED
|
File without changes
|
test
CHANGED
|
@@ -18,8 +18,4 @@
|
|
|
18
18
|
|
|
19
19
|
※2019/3/25追記
|
|
20
20
|
|
|
21
|
-
Google Cloud Schedulerを利用して、GCSのバケットにあるcsvデータを定期的にbigQueryへ同期させることは可能でしょうか？
|
|
21
|
+
Google Cloud Schedulerを利用して、bq loadコマンドを登録して、GCSのバケットにあるcsvデータを定期的にbigQueryへ同期させることは可能でしょうか？
|
|
22
|
-
|
|
23
|
-
|
|
24
|
-
|
|
25
|
-
また、GCSのバケットにあるcsvデータをbigqueryのテーブルへインサートさせるコマンドはありますでしょうか？
|
2
質問更新
test
CHANGED
|
File without changes
|
test
CHANGED
|
@@ -19,3 +19,7 @@
|
|
|
19
19
|
※2019/3/25追記
|
|
20
20
|
|
|
21
21
|
Google Cloud Schedulerを利用して、GCSのバケットにあるcsvデータを定期的にbigQueryへ同期させることは可能でしょうか？
|
|
22
|
+
|
|
23
|
+
|
|
24
|
+
|
|
25
|
+
また、GCSのバケットにあるcsvデータをbigqueryのテーブルへインサートさせるコマンドはありますでしょうか？
|
1
質問内容更新
test
CHANGED
|
File without changes
|
test
CHANGED
|
@@ -13,3 +13,9 @@
|
|
|
13
13
|
|
|
14
14
|
|
|
15
15
|
また、OracleDBのデータをcsvにし、cloud SDKのgsutilコマンドでGCSのバケットへデータ転送し、GCSのバケットにあるcsvデータをbigqueryへ定期的(10分周期)にデータ転送させる方法はありますでしょうか？
|
|
16
|
+
|
|
17
|
+
|
|
18
|
+
|
|
19
|
+
※2019/3/25追記
|
|
20
|
+
|
|
21
|
+
Google Cloud Schedulerを利用して、GCSのバケットにあるcsvデータを定期的にbigQueryへ同期させることは可能でしょうか？
|