Go言語でGCSからBigQueryにjsonデータを1つのフィールドに格納したい。

Question

実現したいこと

jsonデータをGCSからBigQueryに流し込みたいです。
その際に、jsonデータをBigQueryの1つのフィールド(データタイプはjson)に格納したいです。

前提

Cloud Functionsの第2世代で開発しています。
ランタイムはGoの1.21です。
GCSに格納しているjsonファイルはjsonl型です。
このjsonlファイルには100行ほどのログデータが入っています。
このログデータを1行ずつBigQueryの1つのフィールドに格納したいです。
ログデータのカラムは可変のため、スキーマ定義などはしたくありません。

BigQueryのテーブルのスキーマ
フィールド名：log
種類：json
モード：nullable

発生している問題・エラーメッセージ

Error while reading data, error message: JSON table encountered too many errors, giving up. Rows: 1; errors: 1. Please look into the errors[] collection for more details. File: gs://"gcspath"

該当のソースコード

package function

import (
 "context"
	"log"
	"os"

	"cloud.google.com/go/bigquery"
	"github.com/GoogleCloudPlatform/functions-framework-go/functions"
	"cloud.google.com/go/storage"
)

func init() {
	functions.HTTP("DataImport", dataImport)
}

func dataImport(w http.ResponseWriter, r *http.Request) {


	//gcs to bigquery
	bigqueryCtx := context.Background()
	bigqueryClient, err := bigquery.NewClient(bigqueryCtx, os.Getenv("projectID"))
	if err != nil {
		log.Fatalf("err: %v", err)
	}
	defer bigqueryClient.Close()

	gcsRef := bigquery.NewGCSReference("gs://" + os.Getenv("bucketName") + "/" + os.Getenv("filePath"))
	gcsRef.SourceFormat = bigquery.JSON
	loader := bigqueryClient.Dataset(os.Getenv("datasetID")).Table(os.Getenv("tableID")).LoaderFrom(gcsRef)
	loader.WriteDisposition = bigquery.WriteAppend

	job, err := loader.Run(ctx)
	if err != nil {
		log.Fatal(err)
	}
	status, err := job.Wait(ctx)
	if err != nil {
		log.Fatal(err)
	}

	if status.Err() != nil {
		log.Fatal(err)
	}

}

あるべきBigQueryの姿

行 log
1 {"age":22,"citiesLived":[{"numberOfYears":5,"place":"Seattle"},
{"numberOfYears":6,"place":"Stockholm"}],"name":"John","gender":"Male","kind":"person"}
2 {"age":24,"citiesLived":[{"numberOfYears":5,"place":"Seattle"},
{"numberOfYears":6,"place":"Stockholm"}],"name":"Smith","gender":"Male","kind":"person"}
3
・
・
・

データはサンプルです。

試したこと

gcs.AutoDetect = false
gcsRef.Schema = bigquery.Schema{
{Name: "log", Type: bigquery.JSONFieldType},
}
など試してみましたが、上記エラーメッセージが出力されてうまくいきませんでした。

Answer 1

BigQueryのスキーマを事前定義して、それに合うようにjsonデータのスキーマを手書きしました。
少し形は異なりましたが、格納することができました。