CSVデータをBigQueryに5〜6秒の高頻度でアップロードする必要があるため、GoogleのBigQUeryへストリーミングインサートを試しています。しかし、入力中にエラーが出ています。
入力値のJson形式が悪いのか、その中のデータ自体が悪いのか自分では判断できずにいます。
どなたかStreaming APIに関してお詳しい方がいらっしゃいましたら、アドバイスを頂きたいです。
よろしくお願いします。
main.py import json import csv from google.cloud import storage from google.cloud import bigquery project_id = 'galvanic-ripsaw-xxxxx' table_name = "test" dataset_name = 'test_dataset' full_table_name = dataset_name + '.' + table_name client = bigquery.Client() result = [] with open('./test.csv','r') as f: for line in csv.DictReader(f): line_json = json.dumps(line) result.append(line_json) #print(result) errors = client.insert_rows_json( full_table_name,result ) if errors == []: print("New rows have been added.") else: print("Encountered errors while inserting rows: {}".format(errors))
Error message Invalid value at 'rows[1].json' (type.googleapis.com/google.protobuf.Struct), "{"pgid": "k1efbnb4ju-300r-9gto-i4z7-0r1j273403668", "last_login_date": "2020-12-01", "start_chat_numbers": "14", "username": "Kento(\u00e7\u0094\u00b0\u00e6\u009d\u0091\u00e5\u0081\u00a5\u00e4\u00ba\u00ba)", "luid": "U6e58c683", "Q1_start": "1", "Q1_start_date": "2020-12-01", "Q2_start": "1", "Q2_start_date": "2020-12-01", "Q3_start": "1", "Q3_start_date": "2020-12-01", "Q4_start": "1", "Q4_start_date": "2020-12-01", "Q5_start": "1", "Q5_start_date": "2020-12-01", "first_purchased": ""}"
回答1件
あなたの回答
tips
プレビュー
バッドをするには、ログインかつ
こちらの条件を満たす必要があります。