pythonにてtweepyを使用して毎日0時すぎに昨日のツイートを取得したい

Question

タイトルのような目的で下記のようなコードを作成しました。（ネットで調べながら)
tweepyのドキュメントも読んだのですが、期間指定の記述を見つけることができません。
ネットで調べてみてた方法も効かず、１ヶ月ほどのツイートを取得してしまします。
もちろん効かないなら効かないでsetを使用して更新したものだけを抽出したりなどの方法はあるかと思いますが,tweepyでできる的な記事もあるのではまっています。

もしやり方をご存知でしたら教えていただけませんでしょうか？

省略

d_today = datetime.date.today()
base_since = '_00:00:00_JST' 
base_until = '_23:59:59_JST'
since = d_today.strftime('%Y-%m-%d') + base_since    #例:'2020-08-08_00:00:00_JST'
until = d_today.strftime('%Y-%m-%d') + base_until    #例:'2020-08-08_23:59:59_JST'


for Name,Account in Twitter_Account.items() :    #Twitter_Accountは数アカウントの配列
    tweet_data = []
    for tweet in tweepy.Cursor(api.user_timeline,screen_name = Account,exclude_replies = True,since = since,until = until).items():

以下省略

#変数名がちょっとアレですが、こちらでターゲットのアカウントのツイートを取得できるようになりました。
can110様ありがとうございます！

d_today = datetime.date.today()
since_day = d_today - datetime.timedelta(days=1)

aTime = datetime.time(00, 00, 1)
bTime = datetime.time(00, 00, 00)
aT_native = dt.combine(d_today, aTime)
bT_native = dt.combine(since_day, bTime)
today_daytime = pytz.timezone('Asia/Tokyo').localize(aT_native)
since_daytime = pytz.timezone('Asia/Tokyo').localize(bT_native)


for Name,Account in Twitter_Account.items() :
    tweet_data = []
    for tweet in tweepy.Cursor(api.user_timeline,screen_name = Account,exclude_replies = True).items():
        # ツイート時間を日本時間に変換
        jst_timestamp = pytz.timezone('Asia/Tokyo').localize( tweet.created_at + datetime.timedelta(hours=9) )
        if jst_timestamp < since_daytime:
            continue
        if jst_timestamp < today_daytime:
            updateJST = jst_timestamp.strftime('%Y-%m-%d %H:%M:%S')
            tweet_data.append([tweet.id,updateJST,tweet.text.replace('\n',''),tweet.favorite_count,tweet.retweet_count])

           

Comments

[8524ba23]

「tweepyでできる」と書かれている記事のURLを記載ください。

[kipipipi]

can110様　気にしてもらえてありがとうございます。
https://vatchlog.com/tweepy-search-time/　こちらを見ました。

Answer 1

Tweepyの仕様
http://docs.tweepy.org/en/v3.5.0/api.html#API.user_timeline

API.user_timeline([id/user_id/screen_name][, since_id][, max_id][, count][, page])

since_id, max_id という引数を持つことがわかります。

TwitterAPI仕様
https://developer.twitter.com/en/docs/tweets/timelines/api-reference/get-statuses-user_timeline#parameters

since_id optional Returns results with an ID greater than (that is, more recent than) the specified ID.

max_id optional Returns results with an ID less than (that is, older than) or equal to the specified ID.

Twitterの(Status)ID の仕様

https://developer.twitter.com/ja/docs/basics/twitter-ids

The full ID is composed of a timestamp, a worker number, and a sequence number.

https://github.com/igorbrigadir/twitter-advanced-search#snowflake-ids

Convert from epoch back to a tweet id:

(millisecond_epoch - 1288834974657) << 22 = tweet id

エポック時間

---

以上から、

今日の00:00:00と昨日の00:00:00をエポックミリ秒に変換して、1288834974657を引いて22bit左シフトシフトしたものがStatus ID（の下界）になるので、それぞれ、max_idとsince_idに指定するとよい

と分かります。

ひとまず。

Comments

[kipipipi]

quiqui様
URLまで詳しく記載していただいてありがとうございます！
since_id, max_idがイマイチ理解ができなかったので質問前はスルーしていたのですが、使えるパラメーターだったのですね。。。
tweepyで完結するのであればそちらの方がスッキリするので参考にコードを書いてみたいと思います！

Answer 2

記事のコードは試してませんがapi.searchを使っています。
一方提示コードではapi.user_timelineを使っていますが、こちらはsince, untilが効かないようです。
よって以下のように自力で処理する必要があるかと思います。

since = datetime.date.today()
until = since - datetime.timedelta(days=1)

cursor = tweepy.Cursor( api.user_timeline, screen_name = 'TwitterJP', exclude_replies = True)
for tweet in cursor.items(): # 最新順で並んでいることが前提
    if tweet.created_at < since:
        break

    if tweet.created_at < until:
        print('-----')
        print(tweet.created_at)
        print(tweet.text)