KeyError の再試行について

Question

前提・実現したいこと

https://api.cryptowat.chから価格データを取得したいが、サイトが不安定のためかたまに空をかえすため
KeyErrorを起こしてしまいます。
そのためエラーが起きても再度　r =　requests.getに戻り、エラーが起きなくなるまで繰り返したい。

発生している問題・エラーメッセージ

Key Error: '60'

該当のソースコード

from datetime import datetime, timezone, timedelta
import time
import requests
import json

TIME = 0
CLOSE = 4

while True:

r = requests.get('https://api.cryptowat.ch/markets/bitflyer/btcfxjpy/ohlc?periods=60')
json = r.json()['result']['60']
close = json[-1][CLOSE]
print(str(datetime.fromtimestamp(round(time.time()) + 60 * 60 * 9)) + ' CLOSE: ' + str(close)) #直近の終値の表示

time.sleep(5) 

試したこと

独学で勉強しはじめたての初心者のため　retry　というライブラリがあることまでは発見したのですが、使い方がわからない状況です。。

補足情報（FW/ツールのバージョンなど）

python3.6

Answer 1

そもそも、攻める方向を間違ってるような気がします。
なんか空を返すからリトライしたい、じゃなく、なぜ空を返すのかの原因を突き止めるのが先じゃないのでしょうか。
それがわからないと、リトライするのが有効なのかそうじゃないのか、リトライするにしてもどういうふうにリトライしなければならないのかもわからないって話で、この質問のスレッド自体、意味がない気がしますが。

Comments

[umyu]

本筋としてはそうですね！賛成票を入れました。

Answer 2

＜＜　回答が長くなったので、最新のソースコード以外は削除しました。　＞＞

Can I set max_retries for requests.request?

上記サイトを参考にRetry処理を実装してみてはー。

公開APIには負荷を掛けないように一度取得したものは、2度取得しないような形にしてくださいな。
例えばファイルに書き出して、読み込む形にするなどの対応をしてくださいな。
そうしないとAPIに負荷がかかりすぎて、APIからのアクセス拒否が行われたりやAPIが閉鎖され2度と使えなくなる事もあります。

■参考情報
python requestsでリトライ処理をする

---

2018/03/23追記

cryptowatch.jp APIのドキュメントを見ると、レートリミットになるとステータスコード:429を返すみたいですね。
APIから帰ってくるステータスコード判定してませんようね・・多分。。

■参考情報
cryptowat APIの使い方（備忘録）

---

質問文のコードに合わせる形で修正

import time
from datetime import datetime
import json
import requests
from urllib3.util.retry import Retry
from requests.adapters import HTTPAdapter


def get_content(url: str='https://api.cryptowat.ch/markets/bitflyer/btcfxjpy/ohlc'):
    s = requests.Session()
    retries = Retry(total=5,
                    backoff_factor=0.1,
                    status_forcelist=[500, 502, 503, 504])
    s.mount('https://', HTTPAdapter(max_retries=retries))
    payload = {'periods': '60'}
    r = s.get(url, params=payload)
    # ↓テスト用コード
    # r.status_code = 429
    if r.status_code == 429:
        # APIのドキュメントにはr.json()できるかどうかの保証の記述はなかったので注意です。
        # r.json()出来ない場合は値:Noneを返してくださいな。
        return r.json(), r.status_code
    return r.json(), r.status_code


def data_write(obj):
    file_name = f'{datetime.now().strftime("%Y%m%d_%H%M%S_%f")}.json'
    #print(f'file write:{file_name}')
    with open(file_name, 'w', encoding='utf-8-sig') as f:
        json.dump(obj, f)


def main() -> None:
    CLOSE = 4
    while True:
        content, status_code = get_content()
        # rate_limitなら
        if status_code == 429:
            # sleepタイムを55秒に
            time.sleep(55)
            continue

        json = content['result']['60']
        close = json[-1][CLOSE]
        print(str(datetime.fromtimestamp(round(time.time()) + 60 * 60 * 9)) + ' CLOSE: ' + str(close))  # 直近の終値の表示
        # ファイルに保存したい時。
        #data_write(json)

        time.sleep(5)


if __name__ == '__main__':
    main()

Comments

[退会済みユーザー]

ご回答ありがとうございます。サンプルコードも記載いただきありがとうございます。
独学で教本をみてつまずきながら初めているためコードをいただけると勉強になり非常に助かります。

そこで一点ご質問なのですが、質問時点で記載していればよかったのですが、コードですが以下のようにつづいてjsonとしたものを次の式で代入しています。
そのためいただいたサンプルコードを次の式に当てはめるとすればどのようにするのがいいのでしょうか？
初期すぎる質問で申し訳ありません。

r =　requests.get('https://api.cryptowat.ch/markets/bitflyer/btcfxjpy/ohlc?periods=60')
json = r.json()['result']['60']
close = json[-1][CLOSE]

[umyu]

>質問文のコードにその部分を追加してくださいな。
そのコード他になにか書いてませんか？こちらの環境で実行するとCLOSEの部分でエラーになるのですが。

[退会済みユーザー]

すみません。質問編集いたしました。

[umyu]

＞HIROGRANDさんへ
失礼かもしれませんが2点確認します。
1,このプログラムは自分で全部書いたプログラムですかー？
close = json[-1][CLOSE]のところで必ず実行エラーが発生するはずなのですが。
2,requests.get('https://api.cryptowat.ch/markets/bitflyer/btcfxjpy/ohlc?periods=60')
このURLは本当にこのアドレスで正しいですか？
この2点、よろしければ解答のほどお願いします。

[退会済みユーザー]

いえいえ。初心者にお付き合いいただきまして本当にありがとうございます。
１、はい。自分でいろいろなネットや本などから引っ張ってきて作成いたしました。
なので完璧に自分ではありませんが、切り貼りをしながらトライアンドエラーしながら作成している感じです。
もしかしたらですが今見たらコピーしたときにインデントが削除されているみたいのでr = requests.getはインデントされてます。
一応こちらでは記載のコードのままで無事機能しています。

２、はい。http://www.bitbityen.com/entry/2017/11/22/080000
　　このページを参照しました。
　　https://api.cryptowat.ch/markets/bitflyer/btcfxjpy/ohlcと?periods=60を足して1分足のみを抽出しています。

コード自体は普通に無事動くのです。ただ一時間とか起動させとくと
cryptowatch側のエラー時に価格を取得のタイミングかぶるとシステム自体がとまってしまうのです。。

そのたびに手動で再起動させれば普通に動くのですが、それの繰り返しでして、、
なのでその手動でやらなくてはいけない手間を自動にしたい感じです。。

独学だとなかなか聞ける人がいなくて、ご迷惑をおかけしてすみません。。

[退会済みユーザー]

ご回答いただきありがとうございました！無事実装できました。

Answer 3

http://uyamazak.hatenablog.com/entry/2017/01/17/170235
が役立つのでは

Comments

[退会済みユーザー]

ありがとうございます。いただいたページですがすでに確認済みでしてtry-exceptもためしてみたのですが、シンプルにretryで実行したいのですが、独学のためいまいちコードの書き方がわからず困っているところです。
pipでインストールをして
from retry import retryを冒頭に記載してまではいいのですが、そのあと、エラー部分にどのように
@retry()を組み込んでいいのかがわかりません。。
@retry()
r =　requests.get('https://api.cryptowat.ch/markets/bitflyer/btcfxjpy/ohlc?periods=60')
json = r.json()['result']['60']
だとエラーがおきてしまうので。。

[ikapy]

それでは、http://techtipshoge.blogspot.jp/2016/04/pythonretry.html
はどうでしょうか。
上記ＵＲＬの中の関数crawl_url()をあなたの行いたいことに書きなおせばよいと思いますが。
なお、上記ＵＲＬの中の@retry(tries=4, delay=5, backoff=2)のtriesはリトライ回数、delayはディレイ間隔（秒）、backoffはディレイ間隔の倍数ですね。