Cloud Storageのバケットにあるcsvファイルを、Cloud Dataflowを使ってBigQueryのテーブルへ随時インサートさせたいです。
※データの流れ:Cloud Storage ⇒ Cloud Dataflow ⇒ BigQuery ※使用テンプレート:Text Files on Cloud Storage to BigQuery ※実行間隔:10分間隔ぐらい(即時でも可) ※指定するパラメータの値について リージョンポイント:asia-northeast1 GCS location of your javascript UDF:➀ GCS location of your bigquery schema file,described as a JSON:➁ The name of the javascript function you wish to call as your UDF:➂ The fully qualified BigQuery table:➃ The GCS location of the text youd like to processes:➄ temporary directory for BigQuery loading proces:➅ 一時的なロケーション:➆ 最大ワーカー数:➇ ゾーン:➈ サービスアカウントのメール:➉ マシンタイプ:11 ➃のインサート先テーブルは作成済み ➄のcsvファイル配置先のバケットは作成済み ⇒➄はinput元、➃はoutput先、という理解で宜しいでしょうか? ➉は登録済み ⇒➉はGCP設定時の管理者用アカウントのメールを設定予定 ➀、➁、➂、➅、➆、➇、➈、11については、必須パラメータで指定しなくてはジョブ作成できない。という認識で正しいでしょうか? 今回作成したいジョブはシンプルで、上述したcsvファイルのデータをbigqueryへインサートさせたいだけです。
回答1件
あなたの回答
tips
プレビュー
バッドをするには、ログインかつ
こちらの条件を満たす必要があります。