tweepyでbotを排除して、tweetを取得したい。

Question

tweepyでtweetを大量に取得しています。その中にbotが含まれています。これを排除したいです。-botや-source:twittbot.netは試しましたが、それでもbotのtweetが紛れ込んできます。強力にbotを排除する方法を教えてください。

tweet = api.search(q = 'あいうえお -bot -source:twittbot.net', count = 100)

Comments

[CHERRY]

現在、どのようなコードを記載して、排除しているのでしょうか？　おそらく、アカウント名や表示名に botがついているアカウントを除外していると思いますが...

[narinko]

ソースコードを追加しました。

Answer 1

解答になっていないかもしれませんが、研究者の中でもbot排除はかなり複雑な問題だと聞いたことがあります。

• 似たような投稿を繰り返しているもの
• 明らかに文脈が不自然なもの

などを自然言語処理の技術を使って判定して、ユーザーをブラックリストに追加するくらいしか思いつきません。
narinkoさんがおっしゃる通り、それでも"bot"と名前がついているアカウントを削除するのが一番効果的だそうです。

追記
この話題はteratailの範疇を超えている可能性があります。
botを弾くためのライブラリやアルゴリズムなどを探してみてはいかかですか。
おそらく情報が少ないので英語などで検索する必要がありますが。