【jsonマスター求む】Cloud storageのjsonファイルをPythonで読み込ませる方法

Question

前提・実現したいこと

【前提】
Google Cloud Platforms(GCP)のログをCloud storageにjsonファイルで吐き出している。
jsonファイルの扱いについての知識がほぼ皆無です。なのでjson使いの方であれば質問にあっさりとお答えいただけるのかもしれません。

【実現したいこと】
pythonにてjsonファイルを読み込み・加工してgoogleスプレッドシートに表形式で格納したい

発生している問題・エラーメッセージ

【お聞きしたいこと】
Cloud storageのjsonファイルを読み込むのにもっと楽な方法は無いのですか？

今やろうとしているのは以下のようなコードでjsonの中身をstr型で取り出し、
それをdict型に持っていこうと思っています。

from google.cloud import storage as gcs

bucket_name = バケット名
fname = ファイル名
project_name = プロジェクト名

#プロジェクト名を指定してclientを作成
client = gcs.Client(project_name)
#バケット名を指定してbucketを取得
bucket = client.get_bucket(bucket_name)
#Blobを作成
blob = gcs.Blob(fname, bucket)
data = blob.download_as_string()
data2 = data.decode("utf-8")

試したこと

該当のjsonファイルにはhttp接続ができるのでurllib.requestを使って接続を試みたのですが、
ヘッダーの'Content-Type'が 'application/json'ではなかったため読み込めませんでした。

補足情報（FW/ツールのバージョンなど）

data2の１行は以下です。
{"insertId":"hogehoge","labels":{"execution_id":"hogehoge"},"logName":"hogehoge","receiveTimestamp":"2020-05-26T04:00:11.647179625Z","resource":{"labels":{"function_name":"hogehoge","project_id":"hogehoge","region":"hogehoge"},"type":"hogehoge"},"severity":"DEBUG","textPayload":"hogehoge","timestamp":"2020-05-26T04:00:00.390674062Z","trace":"hogehoge"}

そもそもログ吐くときにそのままスプレッドシートにぶち込めよ、という指摘は無しでお願いします。

Comments

[Kenji.Noguchi]

> ヘッダーの'Content-Type'が 'application/json'ではなかったため読み込めませんでした。
どうしてそう思うのですか？Content-Typeはバイト列をクライアントがどう解釈するかのヒントにすぎないので、ファイルがダウンロードできるなら、好きなようにデコードすれば良いのでは？

[KMatsuda]

回答ありがとうございます。
「好きなようにデコードすれば良いのでは？」をきちんと咀嚼できたかわからないですが、
もしかしてjsonで返してね、ということができるのでは？と思い、検索して以下のようなコードにしましたが
Expecting value: line 2 column 1 (char 1)
というエラーが出ました。
このエラーが何を意味するかこれから検索しますが、まずはご報告まで。

import json
import requests

url = 'https://hogehoge.json'
headers = {"content-type": "application/json"}
r = requests.get(url, headers=headers)
data = r.json()
print(json.dumps(data, indent=4))

[Kenji.Noguchi]

data = blob.download_as_string();　print(json.loads(data)) とするだけでいいのですが。僕のGCSで動作確認済みです。もしこれでエラーが出るならダウンロードされてきたファイルが正しいJSONではないか、何か別の問題では？

[KMatsuda]

ありがとうございます。
data = json.loads(blob.download_as_string())
を実行したところ、
TypeError: the JSON object must be str, not 'bytes'
が出ました。エンコード・デコードをもっと勉強します。

[KMatsuda]

デコードで
data = blob.download_as_string().decode("utf-8")
data2 = json.loads(data)
としたところ、
JSONDecodeError: Extra data: line 2 column 1 (char 585)
というエラーが出ました。
２行以上あるのがよく無いのかもしれません。
なんとか自力で解決できそうです。お付き合いいただきありがとうございました。
(結局解決できなくて別で質問など立てていたらヘルプいただけると嬉しいですm(_ _)m)

[Kenji.Noguchi]

json.loads(bytes)は割と最近のPythonでサポートが追加されたらしいので、ちょっと前のPythonだと.decode('utf-8')が必要ですね。

それとJSONが二行以上ある件了解です。それはJSONLINEなどと呼ばれる形式ですので普通のjson.loadsでは読めません。あるファイル内に複数のJSONがあるとき、一行1JSONなら[json.loads(x) for x in data.split("\n")]とすれば行けるかもしれません。一行1JSONではない場合はjsonlineというモジュールを使えば解決すると思います。https://pypi.org/project/jsonlines/

[KMatsuda]

ご親切にありがとうございます。