BigQuery

BigQueryは、Google Cloud Platformが提供しているビッグデータ解析サービス。数TB（テラバイト）またはPB（ペタバイト）の膨大なデータに対し、SQL風のクエリを実行し、高速で集計・分析を行うサービスです。

RSS

受付中

回答

0
Bigqueryにてスプレッドシートをインポートしたい

Bigqueryでスプレッドシートをインポートしたいです。すると、以下のような文章が現れました。 Failed to create table: Invalid field name "". Fields must contain only letters, numbers, and underscores, start with a letter
- 0評価
- 24PV
- BigQuery
  
  4questions
  
  BigQueryは、Google Cloud Platformが提供しているビッグデータ解析サービス。数TB（テラバイト）またはPB（ペタバイト）の膨大なデータに対し、SQL風のクエリを実行し、高速で集計・分析を行うサービスです。
teratailが2週間前にアップデート
受付中

回答

0
fluentd での message パラメータの排除もしくは、message パラメータの中身を抜...

Fluentd から BigQuery へのデータの流し込みを行っており、以下のような JSON を body に持った HTTP リクエストを Fluentd 側で受ける場合に、BigQuery に message という key を削除して、流し込むにはどうすればよいかご存知の方がいらっしゃったら教えていただきたいです。 curl -X POST
- 0評価
- 229PV
- Fluentd
  
  30questions
  
  Fluentdは、オープンソースのログ収集ツールです。ログの収集方法、ログの記録先などのログデータ処理を柔軟にカスタマイズでき、インプットおよびアウトプットが全てプラグインとして実装されています。
- BigQuery
  
  4questions
  
  BigQueryは、Google Cloud Platformが提供しているビッグデータ解析サービス。数TB（テラバイト）またはPB（ペタバイト）の膨大なデータに対し、SQL風のクエリを実行し、高速で集計・分析を行うサービスです。
teratailが6ヶ月前にアップデート
解決済

回答

1
ビッグデータの抽出

前提・実現したいこと現在、約200万件のcsv２つがあり、２つのcsv同士の比較を行なっております。ただ、データが大量あることで、抽出に時間がかかっており、高速に抽出出来る方法を探しています。該当のソースコード抽出対象となるデータとしては下記になり、下記Aのcsv_a_idがcsvBのcsv_b_idとマッチしないデータを抽出します。
- 0評価
- 227PV
- MySQL
  
  3496questions
  
  MySQL（マイエスキューエル）は、TCX DataKonsultAB社などが開発するRDBMS（リレーショナルデータベースの管理システム)です。世界で最も人気の高いシステムで、オープンソースで開発されています。MySQLデータベースサーバは、高速性と信頼性があり、Linux、UNIX、Windowsなどの複数のプラットフォームで動作することができます。
- CSV
  
  285questions
  
  CSV(Comma-Separated Values)はコンマで区切られた明白なテキスト値のリストです。もしくは、そのフォーマットでひとつ以上のリストを含むファイルを指します。
- BigQuery
  
  4questions
  
  BigQueryは、Google Cloud Platformが提供しているビッグデータ解析サービス。数TB（テラバイト）またはPB（ペタバイト）の膨大なデータに対し、SQL風のクエリを実行し、高速で集計・分析を行うサービスです。
nao20 7ヶ月前に質問を編集
受付中

回答

0
コホート分析のためのBigQueryのクエリ書き方について

Bigqueryでコホート分析をしたいと思っています。そこで、経過日数と前日までの人数を合計したクエリの書き方を教えてください。具体的には、2016/9/1-2016/9/5までの購入者を日別に積み増しで出したいです。抽出後の成果物イメージ 1日目 2日目 3日目 4日目 5日目 10人 30人 40人 60人 70人
- 0評価
- 350PV
- SQL
  
  1294questions
  
  SQL(Structured Query Language)は、リレーショナルデータベース管理システム (RDBMS)のデータベース言語です。大きく分けて、データ定義言語(DDL)、データ操作言語(DML)、データ制御言語(DCL)の3つで構成されており、プログラム上でSQL文を生成して、RDBMSに命令を出し、RDBに必要なデータを格納できます。また、格納したデータを引き出すことも可能です。
- BigQuery
  
  4questions
  
  BigQueryは、Google Cloud Platformが提供しているビッグデータ解析サービス。数TB（テラバイト）またはPB（ペタバイト）の膨大なデータに対し、SQL風のクエリを実行し、高速で集計・分析を行うサービスです。
teratailが9ヶ月前にアップデート