PythonでFX APIからデータ取得時にタイムアウトエラーが頻発する

Question

実現したいこと

FX情報サイトhttps://song.co.jp/fx/で、複数のFXブローカーが提供するREST APIから
USD/JPYの為替レートを取得して比較表を作成しています。

Pythonのrequestsライブラリを使って各APIにアクセスしていますが、
一部のブローカーAPIで頻繁にタイムアウトエラーが発生し、
データ取得が不安定になっています。

安定してデータを取得できるようにしたいです。

発生している問題・分からないこと

5つのブローカーAPIから順次データを取得していますが、
そのうち2つのAPIで約50%の確率でタイムアウトエラーが発生します。

特にアクセスが集中する時間帯(NY市場オープン時など)に頻度が高くなります。

エラーメッセージ

requests.exceptions.ReadTimeout: HTTPSConnectionPool(host='api.broker-example.com', port=443): Read timed out. (read timeout=5)

該当のソースコード

特になし

試したこと・調べたこと

• teratailやGoogle等で検索した
• ソースコードを自分なりに変更した
• 知人に聞いた
• その他

上記の詳細・結果

【試したこと1】
timeoutを5秒から10秒、30秒と延長してみました。
→ 結果: エラー頻度は減りましたが、完全には解決せず。
また、レスポンスが遅いAPIのせいで全体の処理時間が大幅に増加しました。

【試したこと2】
requests.Sessionを使ってコネクションプールを有効化しました。
→ 結果: わずかに改善しましたが、根本的な解決には至りませんでした。

【試したこと3】
Googleで「requests timeout retry」で検索し、
retry処理の実装例を探しましたが、どの方法がベストプラクティスか判断できませんでした。

【質問したいこと】
・タイムアウトを回避するための推奨実装方法
・リトライ処理を組み込む際のベストプラクティス
・複数APIを効率的に処理する方法(並行処理など)

現在のコード:

import requests

def get_forex_rate(url):
    try:
        response = requests.get(url, timeout=5)
        return response.json()['rate']
    except requests.exceptions.ReadTimeout:
        print("タイムアウト")
        return None

urls = [
    "https://api.broker-a.com/rates/USDJPY",
    "https://api.broker-b.com/rates/USDJPY"
]

for url in urls:
    rate = get_forex_rate(url)
    print(f"Rate: {rate}")

### 補足
特になし

Comments

[meg_]

> 特にアクセスが集中する時間帯(NY市場オープン時など)に頻度が高くなります。
根本的な対策は時間をずらすこと以外ないように思います。リトライするほどアクセス集中に寄与しますよね・・・

Answer 1

発生率50%というのが一日を通してなのか 「特にアクセスが集中する時間帯」での話なのか、により変わるかも、、、ですが「全体の処理時間が大幅に増加」をいくらかでも緩和する事はできるかも。
timeoutしたら直ちにリトライ ではなく、他のに浮気してそれらが終わったらリトライする。
頻繁に起きる２つを先頭にもってくると効果が高いですね。

あと、
どのくらいの頻度で回してるのかな。デイトレードしてるとすると秒を争うことになるだろうから (1)取得終了したら直ちに次の？ (2)それとも毎分？ (3)それとも毎時？
50%確率でかつ全体の処理時間を気にしているとすると(3)ではなさそうですね。(1)(2)でしたら取得できるまでリトライではなく 1,2回リトライして駄目なら欠測扱いで次回まわし。何回リトライが良いか は 「何回リトライで取得できているか」の統計を取り作戦を練る。

meg_さんの「リトライするほどアクセス集中に寄与しますよね」は、なるほど、で
ネットワーク特にIPの世界では リトライ前に行うべき作法がありますね。