Twitteのタイムラインの3200件以上のスクレイピングについて

Question

前提

pythonにて、TwitterAPIを介してTwitterをスクレイピングしました。
ここでは例としてアニメ「ドラえもん」の公式アカウントのタイムラインを取得しています。

windows11
jupyter notebook (python)
ライブラリはtweepyを使用
TwitterAPIのアクセスレベルは「Elevated」となっています。

実現したいこと

公式アカウント（公式マーク）の入ったタイムラインのみがcsvファイルにうまく収集できないです。
公式ではないものは収集できるのですが、公式の場合、エラーも何も出ずに何秒か経ってからcsvファイルが生成されます。中身を観ると空白なので、読み込んではいるけどうまく出力できないようです。
なのですべてのアカウントに対して指定期間をしても取得できるようにしたいです。

原因

TwitterAPIは3200件までしか取得できないようになっていますが、それは「取得する件数が3200件まで」だとおもっていました。しかし、アカウントのツイート数がそもそも3200を超えていた場合、2日間の期間のみを取得するために期間指定しても、今回のようにcsvファイルが空白の状態になってしまうのではないかと予想しました。

例えば近日の期間指定（2022/1/1～2022/3/1）だと「最新ツイートから3200件を超えていない」ため取得できました。しかし2019年あたりを指定するとやはり空白になってしまいましたのでほぼ原因は突き止められました。

3200件以上のツイートをしている巨大な公式アカウントのスクレイピングは過去を遡り古いツイートを取得できる方法はないのでしょうか
何かアドバイスありましたらよろしくお願いいたします。

コード説明

タイムラインの期間指定、そしてアカウント作成日時の変数を取得するためにコードの中ほど、UTCをJSTに変換したり、日本時刻に変換したりしています。

該当のソースコード

import tweepy
import pandas as pd
import csv
import time
import datetime
from datetime import datetime,timezone
import pytz


# 各種ツイッターのキーをセット
consumer_key = ''
consumer_secret = ''
access_key = ''
access_secret = ''

auth = tweepy.OAuthHandler(consumer_key, consumer_secret)
auth.set_access_token(access_key, access_secret)
api = tweepy.API(auth)


startdate = pd.to_datetime("2015/11/13", utc = True)
enddate = pd.to_datetime("2016/4/3", utc = True)

tweet_data = list()
fmt = "%Y-%m-%d_%H:%M:%S"

#screen_nameは＠から始まる名前（ユーザー名）
tweets = tweepy.Cursor(api.user_timeline, screen_name = "doraemonChannel", exclude_replies = True).items()


#関数:　UTCをJSTに変換する
def change_time_JST(u_time):
    
    #イギリスのtimezoneを設定するために再定義する
    utc_time = datetime(u_time.year, u_time.month,u_time.day, \
    u_time.hour,u_time.minute,u_time.second, tzinfo=timezone.utc)
    
    #タイムゾーンを日本時刻に変換
    jst_time = utc_time.astimezone(pytz.timezone("Asia/Tokyo"))
    
    # 文字列で返す
    str_time = jst_time.strftime("%Y-%m-%d_%H:%M:%S")
    return str_time


for tweet in tweets:
    #ツイート時刻とユーザのアカウント作成時刻を日本時刻にする
    tweet_time = change_time_JST(tweet.created_at)
    create_account_time = change_time_JST(tweet.user.created_at)    
    
    
    if tweet.created_at < enddate and tweet.created_at > startdate: 
    
        tweet_data.append([
            tweet.id,
            tweet_time,
            tweet.text,
            tweet.favorite_count, 
            tweet.retweet_count, 
            tweet.user.name,
            tweet.user.friends_count,
            tweet.user.followers_count,
            create_account_time,
        ])


labels=[
    'ツイートID',
    'ツイート時刻',
    'ツイート本文',
    'いいね数',
    'リツイート数',
    'アカウント名',
    'フォロー数',
    'フォロワー数',
    'アカウント作成日時'
]

#tw_dataのリストをpandasのDataFrameに変換
df = pd.DataFrame(tweet_data,columns=labels)

file_name="doraemon.csv"

df.to_csv(file_name, encoding='utf-8-sig',index=False)

Answer 1

API制限の3200件以上は遡れないというものでした。
期間指定しても最新からの3200件なので注意が必要でした。