Imgur APIのレート制限に達していないのに429 Too Many Requestsが返される。

Question

前提

Imgur の API を利用していますが、レート制限に達していないと思われるにも関わらず429 Too Many Requestsが返されます。

なにか問題は考えられますか？

レスポンス

{
    "errors": [
        {
            "id": "legacy-api-86869d4c8c-f755t/Wtq1naVA0s-051815",
            "code": "429",
            "status": "Too Many Requests",
            "detail": "Too Many Requests"
        }
    ]
}

レスポンスヘッダ

{
    "Connection": "keep-alive",
    "Content-Length": "142",
    "Content-Type": "application/vnd.imgur.v1+json",
    "Content-Encoding": "gzip",
    "Imgur-Media-Type": "imgur.v1; param=full; format=json",
    "X-Post-Rate-Limit-Limit": "1250",
    "X-Post-Rate-Limit-Remaining": "1204",
    "X-Post-Rate-Limit-Reset": "2788",
    "X-Ratelimit-Clientlimit": "12500",
    "X-Ratelimit-Clientremaining": "12450",
    "X-Ratelimit-Clientreset": "83609",
    "X-Ratelimit-Userlimit": "500",
    "X-Ratelimit-Userremaining": "449",
    "X-Ratelimit-Userreset": "660",
    "Accept-Ranges": "bytes",
    "Date": "Fri, 16 Dec 2022 19:38:15 GMT",
    "X-Served-By": "cache-bur-kbur8200048-BUR",
    "X-Cache": "MISS",
    "X-Cache-Hits": "0",
    "X-Timer": "S1671219495.314450,VS0,VE263",
    "access-control-allow-methods": "GET, PUT, POST, PATCH, DELETE, OPTIONS",
    "Server": "cat factory 1.0",
    "Access-Control-Allow-Origin": "*",
    "Access-Control-Allow-Credentials": "true",
    "X-Frame-Options": "DENY",
    "Access-Control-Allow-Headers": "Authorization, Content-Type, Accept, X-Mashape-Authorization, IMGURPLATFORM, IMGURUIDJAFO, sessionCount, IMGURMWBETA, IMGURMWBETAOPTIN, X-expSNKPK127, X-Imgur-Defender-Bypass"
}

プログラムは以下の関数を単純にfor文で回して画像を50枚ほどアップロードしようとしています。

アップロードに使った関数

    def upload_url(self, libkey, src_link) -> str:
        res = requests.post(
            'https://api.imgur.com/3/upload',
            data={'image': src_link, 'type': 'url'},
            headers={'Authorization': 'Client-ID ' + self.client_id}
        )
        decode_res = res.json()
        try:
            status = decode_res['status']
            if not status // 100 == 2:
                raise RuntimeError()
        except (KeyError, RuntimeError):
            log_path = 'error_' + datetime.now().strftime('%Y-%m-%d_%H-%M-%S') + '.json'
            with open(log_path, 'wb') as f:
                f.write(res.content)
            log_path2 = 'res_header_' + datetime.now().strftime('%Y-%m-%d_%H-%M-%S') + '.json'
            with open(log_path2, 'w') as f:
                json.dump(dict(res.headers), f, indent=4, ensure_ascii=False)
            raise RuntimeError(f"upload error. see {log_path} and {log_path2}")
        
        data = decode_res['data']
        self.library[libkey] = {}
        self.library[libkey]['id'] = data['id']
        self.library[libkey]['deletehash'] = data['deletehash']
        self.library[libkey]['link'] = data['link']
        self.library[libkey]['datetime'] = data['datetime']

        with open(self.savedata_path, 'w') as f:
            json.dump({'library': self.library}, f, indent=4, ensure_ascii=False)

        return data['link']

Answer 1

完全な回答ではないと思いますが、クロスチェックの観点で：

Response Headerに含まれている関連ヘッダ（例：X-RateLimit-ClientRemaining）が残っているのに、429エラーが返却されている点が想定外と認識しました。

確かに、imgur API - Rate Limitsを見る限り、HTTP Headerで言及されている値では制限されていないように読めました。

ドキュメントには明示的に言及が見つけられなかったのですが、一般的なRate Limitに対する対応として、各forループ内の実行において、一定の秒数スリープ（time.sleep(x)）を入れるなどはいかががでしょうか？

Your use of the Imgur API is also limited by the number of POST requests your IP can make across all endpoints. This limit is 1,250 POST requests per hour. Commercial Usage is not impacted by this limit. Each POST request will contain the following headers.

Header上はまだ、1204 Credit残っているということかと思いますが、リクエストのスピードを落としても再現するのかどうか、何度も同じタイミングでエラー終了するのか、などが切り分けのポイントになるのではないかと感じました。

Answer 2

upload_url を呼び出している元プログラムの不記載、および APIを呼び出している状況の説明の欠如から何とも言えませんが、
https://api.imgur.com/
の「Rate Limits」を読む限りでは、
① １ユーザーあたり一日当たりのリクエスト上限：およそ12,500回
② １ユーザーあたり一日当たりのアップロード上限：およそ1,250回
③ 同一月に①または②の上限を超える日が５回発生した場合、その日以降から月末まで制限される。
④ （APIキーだけではなく）IPアドレスも識別して制限（別ユーザーでも、テザリングの使用やBBルーター等でIPアドレスが同じになることはありえます）
とあるので、①か②に心当たりがないのであれば ③か④が原因ではないでしょうか。