Tweepyの時間指定キーワード検索であるはずのツイートがない

Question

実現したいこと

tweepyを使って時間指定をして特定のキーワードを含むツイートを全件取得し、CSV形式で出力したい。
また、リツイートを弾き、 botも弾きたいため、URLを含むツイートも除外。
災害関連のツイートを取得したいため、「火事」や「火災」などで何度か試行している。

発生している問題・エラーメッセージ

CSVで出力はできているが、iOS版のtwitterで検索した場合にあるはずのツイートが無かったり、「火事」と検索するとハッシュタグ「＃火事」が含まれている「火事」を含むツイートがPython側で検索に引っ掛からなかったりする。
また、ハッシュタグ「＃火事」と検索してもまったく検索に引っ掛から無かったりする。

該当のソースコード

TwitterアカウントはElevatedクラスで、Twitter API v1.1を使用しています。

#ライブラリのインポート
import tweepy
from datetime import datetime,timezone
import pytz
import pandas as pd

#Twitterの認証
api_key = ""
api_secret = ""
access_key = ""
access_secret = ""
auth = tweepy.OAuthHandler(api_key, api_secret)
auth.set_access_token(access_key, access_secret)
api = tweepy.API(auth)  

#検索条件の設定
searchkey = '#火災 -filter:retweets -filter:links'
date_since = "2022-12-07_23:59:59_JST"
date_until = "2022-12-08_11:29:59_JST"

#検索条件を元にツイートを抽出
tweets = tweepy.Cursor(api.search_tweets,
                       q=searchkey,
                       lang='ja',
                       since = date_since,
                       until = date_until,
                       ).items()

#関数:　UTCをJSTに変換する
def change_time_JST(u_time):
    #イギリスのtimezoneを設定するために再定義する
    utc_time = datetime(u_time.year, u_time.month,u_time.day, \
    u_time.hour,u_time.minute,u_time.second, tzinfo=timezone.utc)
    #タイムゾーンを日本時刻に変換
    jst_time = utc_time.astimezone(pytz.timezone("Asia/Tokyo"))
    # 文字列で返す
    str_time = jst_time.strftime("%Y-%m-%d_%H:%M:%S")
    return str_time

#抽出したデータから必要な情報を取り出す
#取得したツイートを一つずつ取り出して必要な情報をtweet_dataに格納する
tweet_data = []
data_number = 0
for tweet in tweets:
    #ツイート時刻とユーザのアカウント作成時刻を日本時刻にする
    data_number += 1
    tweet_time = change_time_JST(tweet.created_at)
    create_account_time = change_time_JST(tweet.user.created_at)
    #tweet_dataの配列に取得したい情報を入れていく
    tweet_data.append([
        data_number,
        tweet.id,
        tweet_time,
        tweet.text,
        tweet.favorite_count,
        tweet.retweet_count,
        tweet.user.screen_name,
        tweet.user.name,
                       ])

#取り出したデータをpandasのDataFrameに変換
#CSVファイルに出力するときの列の名前を定義
labels=[
    'No.',
    'ツイートID',
    'ツイート時刻',
    'ツイート内容',
    'いいね数',
    'リツイート数',
    'ユーザID',
    'アカウント名',
    ]
#tweet_dataのリストをpandasのDataFrameに変換
df = pd.DataFrame(tweet_data,columns=labels)

#CSVファイルに出力する
#CSVファイルの名前を決める
file_name=''
#CSVファイルを出力する
df.to_csv(file_name,encoding='utf-8-sig',index=False)

試したこと

制限があったりするので時間を空けつつ色々検索ワードを変えて試してみているが特に進展はなく、むしろひっかからないツイートが多い。

プログラミングがあまり得意ではないので分かりやすく教えてもらえると幸いです。
よろしくお願いします。

Comments

[yuma.inaura]

コードはコードブロックで囲ってみましょう

[quickquip]

公式クライアントやWeb版Twitterとは結果が異なりますよ（仕様として同じ結果にはならないです）

> 「火事」と検索するとハッシュタグ「＃火事」が含まれている「火事」を含むツイートがPython側で検索に引っ掛からなかったりする
は(内容上問題なさそうなツイートなら)具体的にstatus idを示した方がよいと思います。というか示されない限り特にコメントできなさそうです（上記の理由で）

[Twitter_muzui]

コメントありがとうございます。
すみません、StatusIDとは何でしょうか？
ちなみに12/7 23:30:00~12/8 11:59:59においての「＃火事」を含むツイートを検索したところ検索結果は０件となっており、仕様がよくわからず困っています。

[quickquip]

URLでstatus以降に出てくる、ツイートの識別子です。(↓だと 1602466320213479424 のこと)
https://twitter.com/kantei/status/1602466320213479424

tweepyだと、Statusオブジェクトのid属性で取得します。
https://docs.tweepy.org/en/stable/v1_models.html#tweepy.models.Status

> 検索結果は０件となっており、
こちらでは再現しないですね（tweepyを使ったコードでの結果ではないですが)

[Twitter_muzui]

ご丁寧にありがとうございます。
該当のツイートの例としてはStatusIDの抜き方が間違えていたらアレなのでURLで言うと
「https://twitter.com/j_sky_japan/status/1600479031941812225?s=21」が例です。

検索結果が０件に関しては検索のパラメータが
searchkey = '＃火事 -filter:retweets -filter:links'
date_since = "2022-12-07_23:30:00_JST"
date_until = "2022-12-08_11:29:59_JST"
になってます。再現性がないのはアカウントごとになにか異なるのでしょうか・・・

[quickquip]

(たまたま)接続しているAPIのエンドポイントの物理的なアクセス先で結果が違う、みたいなことは普通にありえると思います。

since, until の指定が間違ってるのですが動作に支障はないレベルのようで、該当のツイートがヒットできるのは確認してます。
質問のコードを第三者が実行できように編集するのは最低限必要ではないかと。

[Twitter_muzui]

すみません、API keyなどは書かないほうがいいと思って省いています。
結局のところ同じコードで取得しているツイートが違うのであればコード自体に問題があるのではなく、通信上の問題、もしくは仕様という認識で合っていますでしょうか？
もしそうだとしたら改善策は特にないですかね・・・？

[quickquip]

インデントがわかるようにしてください（あいまいに書いてしましたが、最初のyuma.inauraさんのコメントですでに出てます）。もちろんキーは空白でよいです。

仕様として「ヒットするとは限らない」はたしかにそうなのですが、他の原因がないかどうかは気になります。

[Twitter_muzui]

何度もご丁寧に返答していただきありがとうございます。

コードブロックとはそのことだったんですね、VSCodeからそのままコピー＆ペーストしただけでした。
すみませんでした。修正して以後気をつけます。

tweepyを使っておられないとのことですが、tweepy側に問題があるという可能性もあるのでしょうか？
もしくはハッシュタグがURL判定になっていて'-filter:links'が弾いている可能性とか・・・
日付的にも12/7のツイートが検索できなくなるので同じ条件で試すということができないのが申し訳無いです・・・

[Twitter_muzui]

すみません、今'-filter:links'を消去して再度試してみたところ、上の返信で検索に引っかからない例としてあげたツイートがひっかかりました。どうやら画像や動画が埋め込みリンクとして動作しているみたいで、URLを除外すると画像や動画が添付されているツイートも除外してしまうみたいです。

検索に引っかからないツイートが全部これに該当するのかどうかは分かりませんし、tweepy側にもしかしたら何かある可能性もありますが、少なくとも引っかからず気になっていたツイートは表示されましたので、一旦解決？かもしれないです。

数日かけて何度もご丁寧な返答ありがとうございました。

[Twitter_muzui]

何か適当に回答を投稿していただければベストアンサーにします。
よろしくお願いします。

[quickquip]

自己回答でベストアンサーして大丈夫です（私はそちらのほうが好ましいと思っています）

[Twitter_muzui]

返信が遅れてしまい申し訳ありません。
了解しました。ありがとうございました。
また何かあればよろしくお願いします！

Answer 1

動画・画像が含まれるツイートでは動画・画像が埋め込みリンクとして添付されているため、検索条件に'-filter:links'を入れてURLを除外してしまうと動画・画像が含まれるツイートが表示されなくなるので、検索に引っかからなかったみたいです。

Answer 2

iOS版のtwitterで検索した場合にあるはずのツイートが無かったり

まずTwitterAPI全般の制限として、アプリ上の検索結果とは異なる（取りこぼしがありえる）可能性があったと思います。
公式の発言は探しきれませんでしたし、access levelsによるかもしれませんが。

以下の回答は削除

> 「火事」と検索するとハッシュタグ「＃火事」が含まれている「火事」を含むツイートがPython側で検索に引っ掛からなかったりする。

これについては検索キーワードの仕様Building queries for Search Tweetsを確認してみてください。
動作未検証ですが'#火災 -filter:retweets -filter:links'は'#火災 -is:retweet -has:links'であるべきかと思います。

Comments

[quickquip]

v1.1 なので参照するページは https://developer.twitter.com/en/docs/twitter-api/v1/tweets/search/guides/standard-operators です。 -filter:retweets -filter:links は妥当だと思います。

[8524ba23]

ご指摘ありがとうございます。
たしかに異なるバージョンのページを参照していたため回答修正しました。