質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.35%
BigQuery

BigQueryは、Google Cloud Platformが提供しているビッグデータ解析サービス。数TB(テラバイト)またはPB(ペタバイト)の膨大なデータに対し、SQL風のクエリを実行し、高速で集計・分析を行うサービスです。

Python 3.x

Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

Q&A

解決済

1回答

1812閲覧

JsonデータをBigQueryにStreaming Insert中に出た入力値エラーを修正したいです。

amaturePy

総合スコア131

BigQuery

BigQueryは、Google Cloud Platformが提供しているビッグデータ解析サービス。数TB(テラバイト)またはPB(ペタバイト)の膨大なデータに対し、SQL風のクエリを実行し、高速で集計・分析を行うサービスです。

Python 3.x

Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

0グッド

0クリップ

投稿2020/12/03 03:00

CSVデータをBigQueryに5〜6秒の高頻度でアップロードする必要があるため、GoogleのBigQUeryへストリーミングインサートを試しています。しかし、入力中にエラーが出ています。
入力値のJson形式が悪いのか、その中のデータ自体が悪いのか自分では判断できずにいます。
どなたかStreaming APIに関してお詳しい方がいらっしゃいましたら、アドバイスを頂きたいです。
よろしくお願いします。

main.py import json import csv from google.cloud import storage from google.cloud import bigquery project_id = 'galvanic-ripsaw-xxxxx' table_name = "test" dataset_name = 'test_dataset' full_table_name = dataset_name + '.' + table_name client = bigquery.Client() result = [] with open('./test.csv','r') as f: for line in csv.DictReader(f): line_json = json.dumps(line) result.append(line_json) #print(result) errors = client.insert_rows_json( full_table_name,result ) if errors == []: print("New rows have been added.") else: print("Encountered errors while inserting rows: {}".format(errors))
Error message Invalid value at 'rows[1].json' (type.googleapis.com/google.protobuf.Struct), "{"pgid": "k1efbnb4ju-300r-9gto-i4z7-0r1j273403668", "last_login_date": "2020-12-01", "start_chat_numbers": "14", "username": "Kento(\u00e7\u0094\u00b0\u00e6\u009d\u0091\u00e5\u0081\u00a5\u00e4\u00ba\u00ba)", "luid": "U6e58c683", "Q1_start": "1", "Q1_start_date": "2020-12-01", "Q2_start": "1", "Q2_start_date": "2020-12-01", "Q3_start": "1", "Q3_start_date": "2020-12-01", "Q4_start": "1", "Q4_start_date": "2020-12-01", "Q5_start": "1", "Q5_start_date": "2020-12-01", "first_purchased": ""}"

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

guest

回答1

0

自己解決

line_json = json.dumps(lin

line_json = dict(line)

にすることで解決しました。

投稿2020/12/06 05:56

amaturePy

総合スコア131

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.35%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問