質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.50%
BigQuery

BigQueryは、Google Cloud Platformが提供しているビッグデータ解析サービス。数TB(テラバイト)またはPB(ペタバイト)の膨大なデータに対し、SQL風のクエリを実行し、高速で集計・分析を行うサービスです。

Google Cloud Platform

Google Cloud Platformは、Google社がクラウド上で提供しているサービス郡の総称です。エンドユーザー向けサービスと同様のインフラストラクチャーで運営されており、Webサイト開発から複雑なアプリ開発まで対応可能です。

Google Apps Script

Google Apps ScriptはGoogleの製品と第三者のサービスでタスクを自動化するためのJavaScriptのクラウドのスクリプト言語です。

JavaScript

JavaScriptは、プログラミング言語のひとつです。ネットスケープコミュニケーションズで開発されました。 開発当初はLiveScriptと呼ばれていましたが、業務提携していたサン・マイクロシステムズが開発したJavaが脚光を浴びていたことから、JavaScriptと改名されました。 動きのあるWebページを作ることを目的に開発されたもので、主要なWebブラウザのほとんどに搭載されています。

Q&A

解決済

1回答

2062閲覧

BigQueryの分割テーブル(Partition)の分割フィールドを指定する方法

退会済みユーザー

退会済みユーザー

総合スコア0

BigQuery

BigQueryは、Google Cloud Platformが提供しているビッグデータ解析サービス。数TB(テラバイト)またはPB(ペタバイト)の膨大なデータに対し、SQL風のクエリを実行し、高速で集計・分析を行うサービスです。

Google Cloud Platform

Google Cloud Platformは、Google社がクラウド上で提供しているサービス郡の総称です。エンドユーザー向けサービスと同様のインフラストラクチャーで運営されており、Webサイト開発から複雑なアプリ開発まで対応可能です。

Google Apps Script

Google Apps ScriptはGoogleの製品と第三者のサービスでタスクを自動化するためのJavaScriptのクラウドのスクリプト言語です。

JavaScript

JavaScriptは、プログラミング言語のひとつです。ネットスケープコミュニケーションズで開発されました。 開発当初はLiveScriptと呼ばれていましたが、業務提携していたサン・マイクロシステムズが開発したJavaが脚光を浴びていたことから、JavaScriptと改名されました。 動きのあるWebページを作ることを目的に開発されたもので、主要なWebブラウザのほとんどに搭載されています。

0グッド

1クリップ

投稿2019/04/04 10:30

編集2019/04/04 11:02

###できていることとコード
GASでBigQueryにSpreadSheetのデータを登録しています。

javascript

1function main() { 2 var projectId = 'my_id'; //プロジェクトID 3 var datasetId = 'my_id_db'; //データセット 4 5 var app = SpreadsheetApp.getActiveSpreadsheet(); 6 var sheet = app.getActiveSheet(); 7 var tableId = "my_db_1";//テーブルID 8 9 var table = { 10 tableReference: { 11 projectId: projectId, 12 datasetId: datasetId, 13 tableId: tableId 14 }, 15 schema: { 16 fields: [ 17 {name:'date', type: 'date'},//★★★★★スキーマはここ(2019-04-04) 18 {name: 'id', type: 'integer'}, 19 {name: 'name', type: 'string'}, 20 {name: 'memo', type: 'string'} 21 ] 22 }, 23 timePartitioning: {//★★★★★ここ 24 'field':'date' 25 } 26 }; 27 try{ 28 BigQuery.Tables.remove(projectId, datasetId, tableId); 29 } catch(e) {} 30 table = BigQuery.Tables.insert(table, projectId, datasetId); 31 32 var range = sheet.getDataRange(); 33 var blob = Utilities.newBlob(convCsv(range)).setContentType('application/octet-stream'); 34 Logger.log(blob); 35 var job = { 36 configuration: { 37 load: { 38 destinationTable: { 39 projectId: projectId, 40 datasetId: datasetId, 41 tableId: tableId 42 }, 43 skipLeadingRows: 1 44 } 45 } 46 }; 47 job = BigQuery.Jobs.insert(job, projectId, blob); 48}

###できないこと
上記の方法でいくと以下のようにBigQueryに登録されます。
↓テーブルの情報
BigQueryのテーブル情報の表示画面

「フィールドで分割」は、設定したスキーマのうち、「date」フィールドを選んでいるんだと解釈しています。間違っていたら指摘してください。

しかし、肝心のデータがUPできていませんでした
プレビューで「このテーブルは空です」と表示されます。
この部分を正確にすれば解決するのではないか?と推測しているのですが、皆さんの知恵を借りたいと思いました。

javascript

1timePartitioning: { 2 'field':'date'//★★★★★分割テーブルはここ 3 }

ちなみに、「取り込み時間分割テーブルの作成」の場合は上のコードはこのようになります。

javascript

1timePartitioning: { 2 'type':'DAY'//デフォルト的な 3 }

どうぞよろしくお願いいたします。

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

guest

回答1

0

ベストアンサー

###日付(date)のフォーマットが問題だった
データを改めて確認したところ、
2019-04-04Thu Apr 04 2019 00:00:00 GMT+0900 (JST)となっていたので、
BigQueryに登録されなかった。
dateのフォーマットをmoment.jsで指定するなどの措置を行えばOK。
以下空のテーブルの原因となっていたデータ↓

date,id,name,memo Thu Apr 04 2019 00:00:00 GMT+0900 (JST),1,hoge,foo Thu Apr 04 2019 00:00:00 GMT+0900 (JST),2,fuga,bar Thu Apr 04 2019 00:00:00 GMT+0900 (JST),3,piyo,baz

あと、以下のような指定もしたほうが良い。

javascript

1timePartitioning: { 2 'field':'date',//★★★★★分割テーブルはここ 3 'type':'DAY' 4 }

投稿2019/04/08 02:21

退会済みユーザー

退会済みユーザー

総合スコア0

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.50%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問