twitter api を使用し、フォロワー情報を取得したい（5000件以上）

Question

twitter apiについて
下記サイトを元にフォロワー情報を取得出来たのですが、5000人以上の取得が出来ません。
https://fresopiya.com/2019/04/05/getfollowerinfo/#i-3
フォロワー情報を5000件以上取得するにはどういった記述を加えれば良いのでしょうか。
ご教授いただきたく質問させていただきました。

該当のソースコード

CONSUMER_KEY = "******"
CONSUMER_SECRET = "******"
ACCESS_TOKEN        = "******"
ACCESS_TOKEN_SECRET = "******"

import tweepy
auth = tweepy.OAuthHandler(CONSUMER_KEY, CONSUMER_SECRET)
auth.set_access_token(ACCESS_TOKEN, ACCESS_TOKEN_SECRET)
api = tweepy.API(auth,wait_on_rate_limit = True)

user = input("「@ユーザー名」を入力してください：")
followerIDs = api.followers_ids(user)

followerDatas = []
for followerID in followerIDs:
    followerData = {}
    data = api.get_user(followerID)
    followerData["Name"] = data.screen_name
    followerData["Follow"] = data.friends_count
    followerData["Follower"] = data.followers_count
    followerData["TweetCount"] = data.statuses_count
    followerDatas.append(followerData)
    print(followerData)

import pandas as pd
pd.set_option("display.max_rows", 1000)
df = pd.DataFrame(followerDatas).loc[:,["Name","Follow","Follower","TweetCount","Description"]]

#ファイル出力
fileName = input("ファイル名を入力してください：")
df.to_csv(fileName + ".csv")
print("「" + fileName + ".csv」が作成されました。")

Answer 1

https://developer.twitter.com/en/docs/accounts-and-users/follow-search-get-users/api-reference/get-followers-ids#parameters

APIのパラメータをまず眺めます。

cursor のところに

Causes the list of connections to be broken into pages of no more than 5000 IDs at a time. The number of IDs returned is not guaranteed to be 5000 as suspended users are filtered out after connections are queried.

とそれっぽいことが書いてあって

See Using cursors to navigate collections for more information.

とあるので

https://developer.twitter.com/en/docs/basics/cursoring

を読みます。

この機能をtweepyが扱えるのだったらcursorをキーワードにtweepyのドキュメントから検索すればいいだろうと当たりが付けられるので、tweepyの公式ドキュメントからcursorで検索すると"Cursor Tutorial"というページが真っ先にヒットします。

http://docs.tweepy.org/en/v3.8.0/cursor_tutorial.html

for status in tweepy.Cursor(api.user_timeline).items():
    # process status here
    process_status(status)

というサンプルや

api.user_timeline(id="twitter")

は

tweepy.Cursor(api.user_timeline, id="twitter")

とするといいとか書いてあります。

---

そうやって

followerIDs = api.followers_ids(user)

を

followerIDs = tweepy.Cursor(api.followers_ids, user).items()

と書き換えればいいだろうということにたどり着きます。

Comments

[dotaka0803]

初心者の私にも分かりやすく順序立ててご回答いただきありがとうございました。
ご教授いただいた通り、書き換え実行することで5000件以上のフォロワー情報を取得することが出来ました。
大変助かりました。
この度は誠にありがとうございます。