質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.48%
BigQuery

BigQueryは、Google Cloud Platformが提供しているビッグデータ解析サービス。数TB(テラバイト)またはPB(ペタバイト)の膨大なデータに対し、SQL風のクエリを実行し、高速で集計・分析を行うサービスです。

Google Cloud Platform

Google Cloud Platformは、Google社がクラウド上で提供しているサービス郡の総称です。エンドユーザー向けサービスと同様のインフラストラクチャーで運営されており、Webサイト開発から複雑なアプリ開発まで対応可能です。

Google Cloud Storage

Google Cloud Storageは、グーグル社が提供しているクラウドベースのデベロッパー・企業向けストレージサービス。可用性に優れ、APIで操作可能なため、データのアーカイブ保存やアプリケーションのコンテンツ提供など様々な用途に活用できます。

Python 3.x

Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

Q&A

解決済

1回答

6818閲覧

big queryのテーブルにデータを挿入できない。(BigQuery-Pythonを利用)

sequelanonymous

総合スコア123

BigQuery

BigQueryは、Google Cloud Platformが提供しているビッグデータ解析サービス。数TB(テラバイト)またはPB(ペタバイト)の膨大なデータに対し、SQL風のクエリを実行し、高速で集計・分析を行うサービスです。

Google Cloud Platform

Google Cloud Platformは、Google社がクラウド上で提供しているサービス郡の総称です。エンドユーザー向けサービスと同様のインフラストラクチャーで運営されており、Webサイト開発から複雑なアプリ開発まで対応可能です。

Google Cloud Storage

Google Cloud Storageは、グーグル社が提供しているクラウドベースのデベロッパー・企業向けストレージサービス。可用性に優れ、APIで操作可能なため、データのアーカイブ保存やアプリケーションのコンテンツ提供など様々な用途に活用できます。

Python 3.x

Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

0グッド

0クリップ

投稿2019/03/08 10:48

https://qiita.com/itkr/items/20aa3e408ab3b83d54af
当サイトにならってやってみましたが、以下のエラーが出てしまいます。
なにかお気づきな点ありましたらご教示いただけませんでしょうか?

error

1Error while reading data, error message: CSV table encountered too many errors, giving up. Rows: 1; errors: 1. Please look into the errors[] collection for more details. 2Error while reading data, error message: Too many values in row starting at position: 191.

下記のようなBQのスキーマです。

data_extract_date DATE NULLABLE s_id STRING NULLABLE ss_id STRING NULLABLE s_gtz STRING NULLABLE gtz_set_date DATE NULLABLE test_id INTEGER NULLABLE test_name STRING NULLABLE a_id STRING NULLABLE a_name STRING NULLABLE s_type STRING NULLABLE k STRING NULLABLE ka STRING NULLABLE d_dai STRING NULLABLE d_chu STRING NULLABLE t_syo STRING NULLABLE m_no INTEGER NULLABLE k_result BOOLEAN NULLABLE answer_day DATE NULLABLE

python

1 with open(path_schema_info, 'r') as f: 2 table_schema = json.load(f) 3 4 if not client.check_dataset(dataset): 5 raise Exception 6 7 if not client.check_table(dataset, table_name): 8 client.create_table(dataset, table_name, table_schema) 9 10 path_csv_file = ["gs://" + bucket_name + "/" + csv_file_name] 11 client.import_data_from_uris(path_csv_file, dataset, table_name, field_delimiter='\t', source_format=JOB_SOURCE_FORMAT_CSV, skip_leading_rows=1)

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

guest

回答1

0

ベストアンサー

error message: Too many values in row starting at position: 191.

項目が多すぎるというエラーですから、CSVの項目数が挿入しようとしてるテーブルの項目数に対して多すぎるという事ではないでしょうか。

投稿2019/03/08 13:00

sazi

総合スコア25173

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

sequelanonymous

2019/03/09 03:19

それがデータを少なくして3行しかないんです。
sazi

2019/03/09 07:22

行数ではなく、列数です。 縦じゃなく、横方向です。
sequelanonymous

2019/03/11 00:56

すみません、間違えました。テーブルを作成できるところまではできていて、カラム数にも間違いはないです。
sazi

2019/03/11 01:26

では、データに文字区切り記号が付いてなくて、データ中に項目区切りが含まれていませんか? 例えば、,区切りであるのに、項目の内容に,が含まれているとか。
sequelanonymous

2019/03/11 10:17

ありがとうございます。おっしゃっていただいたようなところで間違いをしていました。ファイル内のデータはカンマ区切りだったのが、タブ区切りで読むようにコードを書いていました。そこを修正したら直りました。お気づきありがとうございます。
guest

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.48%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問