PythonのRequestsを使ったAPIについて

Question

環境
os:Windows10
ver：Python3.6.1

APIよりリクエストでデータを取得します。
5秒おきに繰り返して同内容を取得、"id"、"id2"は毎に変わります。
*****.jsonは取得毎に"id"、"id2"に準じて名前は変えてます。

url = "https://***************************"

querystring = {"Id":"","Id2":"","from":,"to":}

headers = {"Accept": "application/json"}response = requests.request("GET", url, headers=headers, params=querystring)

f = open(*****.json, 'w')# 書き込みモードで開く
f.writelines(response.text)# シーケンスが引数。
f.close()

結果、何故か*****.jsonの内容が重複してしまいます。

解決策あればご教示頂けると幸いです。

補足：この後にpandasを使ってjson → csv変換してます。

3/26追記

以下のような取得を繰り返して取得した場合に1111_2222.jsonの内容が3333_4444.jsonの取得内容に反映されてしまいます。

#id1111
url = "https://***************************"

querystring = {"Id":"1111","Id2":"2222","from":,"to":}

headers = {"Accept": "application/json"}response = requests.request("GET", url, headers=headers, params=querystring)

f = open(1111_2222.json, 'w')# 書き込みモードで開く
f.writelines(response.text)# シーケンスが引数。
f.close()

#id3333

url = "https://***************************"

querystring = {"Id":"3333","Id2":"4444","from":,"to":}

headers = {"Accept": "application/json"}response = requests.request("GET", url, headers=headers, params=querystring)

f = open(3333_4444.json, 'w')# 書き込みモードで開く
f.writelines(response.text)# シーケンスが引数。
f.close()

取得された内容が以下のようになってしまいます。
<1111_2222.json>
1111 25253
1111 23555

<3333_4444.json>
1111 25253
1111 23555

Comments

[y_waiwai]

*.jsonの内容が重複とはなにがどう重複するんでしょうか。具体例を上げてくれませんか？

[umyu]

1,*.json　の文字列を作成している部分のソースコードも追記してくださいな。
2,ソースコードはcodeタグで囲むとインデントが行われます。https://teratail.com/help/question-tips#questionTips3-5

[InpactSumo]

y_waiwai様、修正追記しました。返信が遅くなり失礼しました。

[InpactSumo]

umyu様、追記しました。2の件ご指摘ありがとうございます！以降、活用します。返信が遅くなり失礼しました。

Answer 1

◇コードの変更依頼
ファイル名を固定の文字列にするのではなく

querystring = {"Id":"3333","Id2":"4444","from":**,"to":**}
f = open(3333_4444.json, 'w')# 書き込みモードで開く

querystringの辞書の値を元にファイル名を作る形にしてくださいな。

file_name = querystring["Id"] + "_" + querystring["Id2"] + ".json"
with open(file_name , 'w') as f:
   f.writelines(response.text)# シーケンスが引数。

◇確認するポイント
1,リクエスト先のURLはIDとID2を渡した時に正しく、別の内容を返しているか？
リクエスト先のドキュメントがあれば読んで(重要)、ブラウザやREST APIテストツールで確認してみてくださいな。

2,リクエストヘッダーでAccept:application/jsonを行っていますが、response.json()ではなく、response.textで本当にあってますか？

headers = {"Accept": "application/json"}

3,レスポンスのステータスコードを確認する。
response.status_code の値が200以外ならなんらかのエラーが発生しています。

4,追記モードとタイムスタンプ付きで書き込んで見る。
上記回答で改善されなければ、途中でレスポンスの内容が変わっていると推測されるので、
本当にそうなのかをタイムスタンプ付きの追記モードで書き込み、ファイルの内容を確認してみてくださいな。

◇以下はサンプルコードです。

# -*- coding: utf-8 -*-
from datetime import datetime
import requests


def main() -> None:
    url = 'https://www.google.co.jp/'
    querystring = {"Id": "3333", "Id2": "4444", "from": "xxx", "to": "yyy"}
    headers = {"Accept": "application/json"}
    response = requests.request("GET", url, headers=headers, params=querystring)
    file_name = querystring['Id'] + '_' + querystring['Id2'] + '.json'
    with open(file_name, 'a') as f:  # 追記モードで開く
        f.write('\n' + '#' * 60 + '\n')
        f.write(str(response.status_code) + '\n') # ステータスコードを書き込み
        f.write(datetime.now().strftime('%Y%m%d_%H%M%S_%f') + '\n')
        f.writelines(response.text)  # シーケンスが引数。


if __name__ == "__main__":
    main()

あとはURLを表に出せるなら、出していただくと他の人の回答が付きやすいかもしれません。

Comments

[InpactSumo]

umyu 様

回答ありがとうございます！Python初心者なので説明下手お許しください。

＞◇コードの変更依頼の件ですが、実は固定でパスを記述してます。C:\requests\json\1111_2222.json

以下にパスを足しコードを修正してみました。

file_name = "C:\requests\json\"＋'' querystring["Id"] + "_" + querystring["Id2"] + ".json"
with open(file_name , 'w') as f:
f.writelines(response.text)# シーケンスが引数。

Postmanでテスト済みです。
とあるWEBアプリケーションの情報を取得するAPIで
WEBアプリケーションのテスト用に頂いたIDが1セットしか無い状況です。
実際に頂いたIDでログインしWEBアプリケーションに保存された内容がしっかり取得出来ているのは確認済みです。
現在は、テスト段階ですがWEBアプリケーション使用しているユーザーは多数おり、
実際に使用しているユーザーのIDを管理者より頂きAPIで取得してこの題が発覚しました。

＞2,リクエストヘッダーについて
headers = {"Accept": "application/json"}

API開発側からAccept: application/jsonを実装の際にリクエストヘッダに追加するようにと説明されました。

response.textでtestIDでの取得では全く問題なく来ていました。

>3,レスポンスのステータスコードを確認する。
200で問題なしです。

>4,追記モードとタイムスタンプ付きで書き込んで見る。
こちら試してみます！結果は後ほどご連絡します！

[InpactSumo]

umyu 様
どうやらWEBアプリケーション側の問題があるようです。現在問い合わせ中。
今回は確認事項やファイル名などとても勉強になりました！
確認していなければ疑う先が見つからない。大事なことですね！ありがとうございました！！