TwitterのAPIを使ってツイートを取得するときのKeyErrorの解決方法を教えていただきたいです。

Question

TwitterのAPIを使って特定の単語が含まれるツイートを入手し、txtファイルで保存したいのですが、ある程度のツイートを取得した後、結果で以下のようなエラーが出ます。

1114878911777628160
橋本環奈はやっぱりかわいいなぁ…
Sun Apr 07 13:13:40 +0000 2019
------------------------------------------------------------------
1114878819909820418
RT @722731: Twitterやってる人の中で春から橋本環奈だよ！って人いないかな？
春から橋本環奈になる人はリツイートお願いします(>_<;)
#春から橋本環奈
#橋本環奈と繋がりたい
Sun Apr 07 13:13:18 +0000 2019

（一部略）

Traceback (most recent call last):
  File "0410word2vec_twitter.py", line 50, in <module>
    data = response.json()['statuses']
KeyError: 'statuses'

エラーから検索して解決策を探しましたが、上手く処理できませんでした。
（APIの回数制限の問題と捉えて良いでしょうか？）
KeyErrorを出さないための解決策や、そこまで取得したツイートを保存できるようなやり方がもしあるなら教えていただきたいです。
コードは以下のようになります。
よろしくお願いします。

# -*- coding: utf-8 -*-
from requests_oauthlib import OAuth1Session, OAuth1
import json
import requests
import urllib
import sys
import io

#検索文字列設定
word = "橋本環奈"
# デフォルト文字コードをutf8に変更
sys.stdout = io.TextIOWrapper(sys.stdout.buffer, encoding='utf-8')
args = sys.argv

#apiキー情報設定
consumer_key = "X"
consumer_key_secret = "X"
access_token = "X"
access_token_secret = "X"

#twitterAPIアクセス
url = "https://api.twitter.com/1.1/search/tweets.json?count=100&lang=ja&q=" + word
auth = OAuth1(consumer_key, consumer_key_secret, access_token, access_token_secret)
response = requests.get(url, auth = auth)
data = response.json()['statuses']

Tweet = []

#データ表示
cnt = 0
while True:
    for tweet in data:
        print("------------------------------------------------------------------")
        print(tweet["id"])#ツイートID
        print(tweet["text"])#ツイート内容
        print(tweet["created_at"])#ツイート日時
        cnt += 1
        maxid = int(tweet["id"]) - 1
        Tweet.append(tweet["text"])

    #ツイートがない場合ループ終了
    if len(data) == 0:
        break

    url = "https://api.twitter.com/1.1/search/tweets.json?count=100&lang=ja&q=" + word + "&max_id=" + str(maxid)
    auth = OAuth1(consumer_key, consumer_key_secret, access_token, access_token_secret)
    response = requests.get(url, auth = auth)
    data = response.json()['statuses']
     
print("ツイート数:" + str(cnt))

with open('0410tweet_hasimotokannna.txt', "w",encoding="utf-8") as f:
    f.writelines(Tweet)

Answer 1

推察の通りRate limitにひっかかっています。
とりあえず、ひっかかっている場合にはJSONデータに`'statuses'キーがないのを利用して以下のようにキーチェックをすればエラーは回避できます。
なお、ちゃんとやるならTwitterAPI でツイートを大量に取得。サーバー側エラーも考慮（pythonで）を参考にしてください。

# 略
response = requests.get(url, auth = auth)
data = response.json()
if not 'statuses' in data:
    print(data)# {'errors': [{'message': 'Rate limit exceeded', 'code': 88}]}
    sys.exit() # あるいはちゃんとSleepする
data = data['statuses']

    # 略
    response = requests.get(url, auth = auth)
    data = response.json()
    if not 'statuses' in data:
        print(data)# {'errors': [{'message': 'Rate limit exceeded', 'code': 88}]}
        break      # あるいはちゃんとSleepする
    data = data['statuses']

Comments

[kaki.k]

ありがとうございます。エラーなく実行できました。
サイトも参考にさせていただきます。

Answer 2

ツイッターAPIの公式ドキュメントを読みましょう。エラーコードが書いてないわけがないのですから。

https://developer.twitter.com/en/docs/basics/response-codes

使っているライブラリの公式ドキュメントを読みましょう。HTTPのステータスコードを理解しましょう。

http://docs.python-requests.org/en/master/api/#requests.Response.ok

(追記)
すみません。リンクに This is not a check to see if the response code is 200 OK. と書いてありますね。status_code をチェックしてください。

http://docs.python-requests.org/en/master/api/#requests.Response.status_code

こちらですね。

---

response = requests.get(url, auth = auth)の直後でreponseのステータスとエラーコードの確認をしましょう。
例えば

if response.status_code == requests.codes.ok:
    # ここは正常なケース
    pass
else:
    json_data = response.json()
    if 'errors' in json_data and len(json_data['errors']) > 0:
        errcode = json_data['errors'][0].get('code', 0)
        # ここでerrcodeにしたがって適切に処理する
        # 例えば 88 (Rate limit exceeded)ならRate limitを取得して回復するまでsleepするとか
    else:
        # ステータスが異常なのにエラーコードが入っていない異常なケース
        # たぶん異常終了してよいが自分で考えること
        raise RuntimeError

のようにエラーを取り出します。
エラーに対してどうプログラムが振る舞えばいいかは作成者が決めなければなりません。

Comments

[kaki.k]

詳しくありがとうございます。
エラーに対する姿勢を改めるよう精進します。