PythonでRequestsモジュールを使ったgzipで圧縮されたjsonデータ取得の方法

Question

前提・実現したいこと

PythonでWeb小説のAPIを使用してgzipで圧縮されたjsonファイルを扱いたいと考えています．

できればurllibを使わずにrequestsを用いて実現したいと考えています．

対象のURL : "http://api.syosetu.com/novelapi/api/?out=json&lim=10&gzip=5"

requests.get()で得られたオブジェクトに対してcontentでアクセスするとbytesオブジェクトになるということはわかるのですが，bytesであってjson形式で私はデータを扱いたいので困っています．

また，対象URLのencodingを調べてもNoneが返ってきており，デコードをどうすればいいのかわからずどのように対処すればいいのかわかりません．

申し訳ありませんが，教えていただけないでしょうか．

環境

Python 3.6.7
requests 2.20.0
requests-oauthlib 1.0.0

該当のソースコード

import json
import requests
import gzip

url = "http://api.syosetu.com/novelapi/api/?out=json&lim=10&gzip=5"

response = requests.get(url)
#response.encoding = response.apparent_encoding をしてもNoneが返ってくる
print(response.encoding) # Noneが返ってくる
print(response.status_code)#200
r = response.content
print(r.decode('utf-8')) #エラーが発生する(1)

エラー

UnicodeDecodeError: 'utf-8' codec can't decode byte 0x8b in position 1: invalid start byte

Answer 1

import json
import requests
import gzip
import io

url = "http://api.syosetu.com/novelapi/api/?out=json&lim=10&gzip=5"

response = requests.get(url)
if response.status_code == 200:
    gzip_file = io.BytesIO(response.content)
    with gzip.open(gzip_file, 'rt') as f:
        json_data = f.read()
    print(json_data)

でどうでしょうか

Comments

[Villager]

正常に動作しました．ありがとうございます