PythonのRequestsモジュールのJSONデコードBOMエラー

Question

前提・実現したいこと

Pythonでのエラー。
モジュールはRequests,json。
文字コードのエラーが起きているので助けてください!

発生している問題・エラーメッセージ

エラー内容
json.decoder.JSONDecodeError: Unexpected UTF-8 BOM (decode using utf-8-sig): line 1 column 1 (char 0)

該当のソースコード

def get_img_log():
    img_d = []
    data = {"data":"data}
    d = requests.post("http://test.com",data=data)
    d = d.json()
    print(d)
    for con in d["coments"]:
        # mt = re.search("imgs.*.jpeg|jpg|png|gif" , con["mozi"])
        mt = re.search("imgs.*.(jpeg|jpg|png|gif)", con["mozi"])
        if mt:
            img_d.append(mt.group())
        # print(con["mozi"])
    return img_d

試したこと

JSONの問題かと思いPOST受取時に正規表現で除去しようとしたが、受取時の時点でエラー（？）

Comments

[8524ba23]

「d = requests.post(～」の後（「d.json()」の前）に「print(d.text)」と「print(d.content)」を実行して出力された結果を質問本文に追記ください。

[quickquip]

エラーのバックトレースが必要そうですね。

https://teratail.com/help/question-tips#questionTips3-4-2
> 自分で解釈・要約しようとしてはいけません。大事な部分が抜け落ちたり情報が違うものになってしまう可能性があるからです。

の典型例かと

Answer 1

JSONで受け取ろうとしてエラーになるのなら、d.textと文字列で受け取って、BOMを除去してから、json.loads()でパースすればいいかと。

Comments

[monkeke]

requestで受け取った時点でもエラーが発生するので、除去はできません。

[otn]

どの行でどんなエラーですか？
textでBOMが受け取れないとは思えないので、別のエラーでは？

[monkeke]

あ、Jsonでの受け取りを解除してみたらデータ自体は受け取れました。
以前のエラーはなにかの手違いだったようです。
JSONでの受け取り時にBOMのエラーが出ているらしいです。
BOMっていう概念自体がよくわからないので、削除する方法や対象の文字列を教えてくれると幸いです

[otn]

先頭3バイトを削除、utf8の1文字と見なされるようなので、2文字以降を取り出す。
d.text[1:]