PythonでTwitterのフォロワー情報を取得したい（Twitter API）

Question

下記のサイトを参考に、PythonでTwitterのフォロワー情報を取得したいと思っています。
https://fresopiya.com/2019/04/05/getfollowerinfo/#i-5

フォロワー数の少ないアカウントでは、これでcsvをエクスポートするところまでできるのですが、
フォロワーの多いアカウントだと、実行が長時間に及んだ挙句、エラーが帰ってきてしまいます。

環境は、Jupyter Notebookで動かしています。

何か改善案はありますでしょうか？

ちなみに下記のようなエラーメッセージです。

Failed to send request: ('Connection aborted.', ConnectionResetError(10054, '既存の接続はリモート ホストに強制的に切断されました。', None, 10054, None))

CONSUMER_KEY = ""
CONSUMER_SECRET = ""
ACCESS_TOKEN = ""
ACCESS_TOKEN_SECRET = ""

import tweepy
auth = tweepy.OAuthHandler(CONSUMER_KEY, CONSUMER_SECRET)
auth.set_access_token(ACCESS_TOKEN, ACCESS_TOKEN_SECRET)
api = tweepy.API(auth,wait_on_rate_limit = True)

followerIDs = api.followers_ids("ユーザーＩＤ")

followerDatas = []
for followerID in followerIDs:
    followerData = {}
    data = api.get_user(followerID)
    followerData["Name"] = data.name
    followerData["Follow"] = data.friends_count
    followerData["Follower"] = data.followers_count
    followerData["Description"] = data.description
    followerData["TweetCount"] = data.statuses_count
    followerDatas.append(followerData)

%matplotlib inline
import pandas as pd

pd.set_option("display.max_rows", 1000)
df = pd.DataFrame(followerDatas).loc[:,["Name","Follow","Follower","TweetCount","Description"]]

#ファイル出力
df.to_csv("submit.csv",index=False)

Answer 1

単純に、実行が終了するまでプログラムを起動したままにしておける普通のPython実行環境を使いましょう。

---

https://developer.twitter.com/en/docs/twitter-api/v1/accounts-and-users/follow-search-get-users/api-reference/get-followers-ids

該当のAPIは15分に15回だけしか利用が許されていなく、1回5000件までしか取れません。
30万のフォロワーに対して1時間、300万のフォロワーに対して10時間かかるのはどうしようもありません。

複数のアカウントとアプリを登録して鍵情報を使い分けるといった手段もありえます。
一応、「同一内容を複数アカウントでツイート」のように、Twitterが"しないで"と明に言っている行為には該当してはいないと思います。
しかしながら同一IPからの多重アクセスといった行為にどのような監視をしているのかはわからないので、"リスクなどは自分自身で判断する"必要があると思います。

---

(追記)
すみません。コードを読み違えました。
api.get_user(followerID)の部分でrate_limitが回復するまで待たされる方が、時間がかかる主な原因でしょうね。ピントがずれた回答になってしまいました。
（rate_limit制限の分待たされるしそれを回避するのは無理、という結論が変わることはありませんが）

さて、5000件を超えるフォロワーの取得ですが

https://docs.tweepy.org/en/v3.5.0/cursor_tutorial.html

で解説されているCursorという機能がtweepyに用意されています。

followerIDs = api.followers_ids("ユーザーＩＤ")

followerDatas = []
for followerID in followerIDs:
   ...

の部分を

followerIDs = tweepy.Cursor(api.followers_ids, "ユーザーＩＤ")

followerDatas = []
for page in followerIDs.pages():
    for followerID in page:
        ...

とすることで可能です。
followers/ids API が rate_limit制限に引っかかると、followerIDs.pages()がウェイトで待たされます。そこは元の回答の通りです。

followers/ids API の rate_limit制限と users/show API の rate_limit制限は別々で、
users/show APIの方が回復が遅いので、followers/ids の実行効率がよくないでしょう。

Comments

[1995nihong]

1万程度のフォロワーだったのですが、そもそも1度に5000件までしか取得できないのですね（公式ドキュメントをしっかり読み込んでいませんでした。。）

5000件ずつに区切り、複数回かけて取得もできるのでしょうか？
１回目：1~5000人目
2回目：5001～10000人目　のような指定です。
初心者質問で恐縮ですが、ご確認いただけますと幸いです。

[1995nihong]

ご丁寧にありがとうございました。
まだ少し勉強不足なので、ご提示いただいたドキュメントなど読み込んでから試行錯誤してみます。