質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.48%
BigQuery

BigQueryは、Google Cloud Platformが提供しているビッグデータ解析サービス。数TB(テラバイト)またはPB(ペタバイト)の膨大なデータに対し、SQL風のクエリを実行し、高速で集計・分析を行うサービスです。

Google Cloud Platform

Google Cloud Platformは、Google社がクラウド上で提供しているサービス郡の総称です。エンドユーザー向けサービスと同様のインフラストラクチャーで運営されており、Webサイト開発から複雑なアプリ開発まで対応可能です。

Go

Go(golang)は、Googleで開発されたオープンソースのプログラミング言語です。

Google API

Googleは多種多様なAPIを提供していて、その多くはウェブ開発者向けのAPIです。それらのAPIは消費者に人気なGoogleのサービス(Google Maps, Google Earth, AdSense, Adwords, Google Apps,YouTube等)に基づいています。

Google App Engine

Google App Engineは、Googleの管理するデータセンター上でウェブアプリケーションの開発が可能なクラウドコンピュータ技術です。Java、Python、Go用にSDKが用意されています。

Q&A

解決済

1回答

374閲覧

sqlを定期実行させて、bigqueryのテーブルを操作

raccoondog

総合スコア77

BigQuery

BigQueryは、Google Cloud Platformが提供しているビッグデータ解析サービス。数TB(テラバイト)またはPB(ペタバイト)の膨大なデータに対し、SQL風のクエリを実行し、高速で集計・分析を行うサービスです。

Google Cloud Platform

Google Cloud Platformは、Google社がクラウド上で提供しているサービス郡の総称です。エンドユーザー向けサービスと同様のインフラストラクチャーで運営されており、Webサイト開発から複雑なアプリ開発まで対応可能です。

Go

Go(golang)は、Googleで開発されたオープンソースのプログラミング言語です。

Google API

Googleは多種多様なAPIを提供していて、その多くはウェブ開発者向けのAPIです。それらのAPIは消費者に人気なGoogleのサービス(Google Maps, Google Earth, AdSense, Adwords, Google Apps,YouTube等)に基づいています。

Google App Engine

Google App Engineは、Googleの管理するデータセンター上でウェブアプリケーションの開発が可能なクラウドコンピュータ技術です。Java、Python、Go用にSDKが用意されています。

0グッド

0クリップ

投稿2019/01/15 03:26

sqlを定期実行させて、bigqueryのテーブルを操作させたいのですが以下方法を試行するも想定通りの動きになりません。他に方法がありましたらご教示頂きたいです。

■実現したいこと BigQueryに3つのテーブルを作成して、スケジュールジョブでテーブルを更新したい ■実装案 Aテーブル、Bテーブル、Cテーブル ➀OracleDBのデータをembulkでBigQueryへバルクインサートする。対象のテーブルは2つ(A,B) ➁BigQueryに作成された2つのテーブル(A,B)、別途BigQueryにテーブルを1つ(C)作成する ➂2つのテーブル(B、C)から、Bにだけ存在するカラムを抽出 ➃Aテーブルから一致するカラム値を検索し、対象レコードだけをCテーブルへインサートする ➄1分毎に定期実行 ⇒Bigqueryへ単純増分バルクインサートを実施し、GoogleクラウドのAPIを使って処理する方法を調査 ⇒Schedule queryと、App Engine Cron Serviceを使って実現できるか検証 ⇒➀から➃までを処理するSQL作成は、検証用PCのオラクル環境で検証済み ⇒BigQuery上でテスト予定 ⇒BigQueryで3テーブルを使用した、➀から➃までの処理が成功 ⇒➄について調査・検証中(crontabでテスト) ⇒Cloud Shellはログアウトして1時間経過するとcrontabの中身が消える ⇒Schedule queryでは、実行間隔の最短許容時間は 3 時間となる ⇒Google App EngineのCronサービスを使ったテストを実施中。(cron.ymlファイルを生成し、デプロイして、動作確認中) ⇒失敗 ⇒Google App EngineのTask Queueを利用して、BigQueryのテーブルに対してクエリを定期実行している事例があった為、検証 ⇒Go言語、SQL、cron、を組み合わせて実装するも以下エラーが出力し正常に動作せず error:(gcloud.app.deploy) error response:[9] deployment contains files that cannot bi compiled: compile faild: /work_dir/app.go:49:17: undefined:os

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

nobonobo

2019/02/05 01:00

情報なさすぎ丸投げしすぎで回答不可能です。 ビルド不能な状態であることは見受けられますのでまずビルド不能な原因を探りましょう。
raccoondog

2019/02/05 03:01

有難うございます。 原因を深堀してから、再度質問させて頂きます。
guest

回答1

0

自己解決

原因を深堀してから、再度質問させて頂きます。

投稿2019/02/05 03:01

raccoondog

総合スコア77

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.48%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問