質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

ただいまの
回答率

89.21%

TwitterのAPIを使ってツイートを取得するときのKeyErrorの解決方法を教えていただきたいです。

解決済

回答 2

投稿

  • 評価
  • クリップ 0
  • VIEW 1,191

kaki.k

score 19

TwitterのAPIを使って特定の単語が含まれるツイートを入手し、txtファイルで保存したいのですが、ある程度のツイートを取得した後、結果で以下のようなエラーが出ます。

1114878911777628160
橋本環奈はやっぱりかわいいなぁ…
Sun Apr 07 13:13:40 +0000 2019
------------------------------------------------------------------
1114878819909820418
RT @722731: Twitterやってる人の中で春から橋本環奈だよ!って人いないかな?
春から橋本環奈になる人はリツイートお願いします(>_<;)
#春から橋本環奈
#橋本環奈と繋がりたい
Sun Apr 07 13:13:18 +0000 2019

(一部略)

Traceback (most recent call last):
  File "0410word2vec_twitter.py", line 50, in <module>
    data = response.json()['statuses']
KeyError: 'statuses'

エラーから検索して解決策を探しましたが、上手く処理できませんでした。
(APIの回数制限の問題と捉えて良いでしょうか?)
KeyErrorを出さないための解決策や、そこまで取得したツイートを保存できるようなやり方がもしあるなら教えていただきたいです。
コードは以下のようになります。
よろしくお願いします。

# -*- coding: utf-8 -*-
from requests_oauthlib import OAuth1Session, OAuth1
import json
import requests
import urllib
import sys
import io

#検索文字列設定
word = "橋本環奈"
# デフォルト文字コードをutf8に変更
sys.stdout = io.TextIOWrapper(sys.stdout.buffer, encoding='utf-8')
args = sys.argv

#apiキー情報設定
consumer_key = "X"
consumer_key_secret = "X"
access_token = "X"
access_token_secret = "X"

#twitterAPIアクセス
url = "https://api.twitter.com/1.1/search/tweets.json?count=100&lang=ja&q=" + word
auth = OAuth1(consumer_key, consumer_key_secret, access_token, access_token_secret)
response = requests.get(url, auth = auth)
data = response.json()['statuses']

Tweet = []

#データ表示
cnt = 0
while True:
    for tweet in data:
        print("------------------------------------------------------------------")
        print(tweet["id"])#ツイートID
        print(tweet["text"])#ツイート内容
        print(tweet["created_at"])#ツイート日時
        cnt += 1
        maxid = int(tweet["id"]) - 1
        Tweet.append(tweet["text"])

    #ツイートがない場合ループ終了
    if len(data) == 0:
        break

    url = "https://api.twitter.com/1.1/search/tweets.json?count=100&lang=ja&q=" + word + "&max_id=" + str(maxid)
    auth = OAuth1(consumer_key, consumer_key_secret, access_token, access_token_secret)
    response = requests.get(url, auth = auth)
    data = response.json()['statuses']

print("ツイート数:" + str(cnt))

with open('0410tweet_hasimotokannna.txt', "w",encoding="utf-8") as f:
    f.writelines(Tweet)
  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 過去に投稿した質問と同じ内容の質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

回答 2

checkベストアンサー

+1

推察の通りRate limitにひっかかっています。
とりあえず、ひっかかっている場合にはJSONデータに`'statuses'キーがないのを利用して以下のようにキーチェックをすればエラーは回避できます。 なお、ちゃんとやるならTwitterAPI でツイートを大量に取得。サーバー側エラーも考慮(pythonで)を参考にしてください。

# 略
response = requests.get(url, auth = auth)
data = response.json()
if not 'statuses' in data:
    print(data)# {'errors': [{'message': 'Rate limit exceeded', 'code': 88}]}
    sys.exit() # あるいはちゃんとSleepする
data = data['statuses']

    # 略
    response = requests.get(url, auth = auth)
    data = response.json()
    if not 'statuses' in data:
        print(data)# {'errors': [{'message': 'Rate limit exceeded', 'code': 88}]}
        break      # あるいはちゃんとSleepする
    data = data['statuses']

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2019/04/11 12:54

    ありがとうございます。エラーなく実行できました。
    サイトも参考にさせていただきます。

    キャンセル

+1

ツイッターAPIの公式ドキュメントを読みましょう。エラーコードが書いてないわけがないのですから。

https://developer.twitter.com/en/docs/basics/response-codes

使っているライブラリの公式ドキュメントを読みましょう。HTTPのステータスコードを理解しましょう。

http://docs.python-requests.org/en/master/api/#requests.Response.ok

(追記)
すみません。リンクに This is not a check to see if the response code is 200 OK. と書いてありますね。status_code をチェックしてください。

http://docs.python-requests.org/en/master/api/#requests.Response.status_code

こちらですね。


response = requests.get(url, auth = auth)の直後でreponseのステータスとエラーコードの確認をしましょう。
例えば

if response.status_code == requests.codes.ok:
    # ここは正常なケース
    pass
else:
    json_data = response.json()
    if 'errors' in json_data and len(json_data['errors']) > 0:
        errcode = json_data['errors'][0].get('code', 0)
        # ここでerrcodeにしたがって適切に処理する
        # 例えば 88 (Rate limit exceeded)ならRate limitを取得して回復するまでsleepするとか
    else:
        # ステータスが異常なのにエラーコードが入っていない異常なケース
        # たぶん異常終了してよいが自分で考えること
        raise RuntimeError


のようにエラーを取り出します。
エラーに対してどうプログラムが振る舞えばいいかは作成者が決めなければなりません。

投稿

編集

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2019/04/11 12:55

    詳しくありがとうございます。
    エラーに対する姿勢を改めるよう精進します。

    キャンセル

15分調べてもわからないことは、teratailで質問しよう!

  • ただいまの回答率 89.21%
  • 質問をまとめることで、思考を整理して素早く解決
  • テンプレート機能で、簡単に質問をまとめられる

同じタグがついた質問を見る