APIをcloudfunctionで実装設定したが
Dataflowで実施するよう変更したい
現在
schedulerからPUB/SUBをトリガーに
cloud functionでAPI実装
API実装の中身は
functionではJSONを取得
→BQ必要情報のみインサート
こちらがタイムアウトによりdata flowを使用して
cloud scheduler → data flow →BQというアーキテクチャーにしたい
Python環境を作成して
apache_beam.function.にCFで作成コードを実行して\の場所が分からない
data flowプロジェクトを作成してスケジューリング起動させれば
問題ないかと思いましたがapache_beam.function.
尚且つGCSに新たにPythonファイルを上げて指定して実行してもエラーが発生する
python3 -m \ apache_beam.function.~\ --project ~\ --runner DataflowRunner \ --temp_location \ gs://~/temp \ --output \ gs://~/output \ --job_name ~\ --region ~
解決のためよろしくお願いします。
あなたの回答
tips
プレビュー