Ruby とTwitterStreaming API でツイートを取得したい

Question

Ruby とstreaming APIでつぶやきを取得したいのですが、一時間に６０ツイートくらいしか取得できません。もっと多く取得できればと思うのですが、良いコード等ありましたら、ご教授頂きたいです。よろしくお願いします。

require 'rubygems'
require 'twitter'
require 'tweetstream'


API_KEY = "xxxxxxxxxxxx"
API_SECRET = "xxxxxxxxxxxx"
ACCESS_TOKEN = "xxxxxxxxxxxx"
ACCESS_TOKEN_SECRET = "xxxxxxxxxxxx"

TweetStream.configure do |config|
	config.consumer_key = API_KEY
	config.consumer_secret = API_SECRET
	config.oauth_token = ACCESS_TOKEN
	config.oauth_token_secret = ACCESS_TOKEN_SECRET
	config.auth_method = :oauth
end

client = Twitter::REST::Client.new do |config|
  config.consumer_key        = API_KEY
  config.consumer_secret     = API_SECRET
  config.access_token        = ACCESS_TOKEN
  config.access_token_secret = ACCESS_TOKEN_SECRET
end

puts "Configuration Success"

sclient = TweetStream::Client.new

sclient.track("選挙") do |status|
    puts "#{status.created_at}: #{status.user.screen_name}: #{status.text}"

end
sp.close()

Answer 1

まずコードの無意味な点から。 sp.close() と client が全く役立っていません。

続いて問題点。
TweetStream::Client#track メソッドで検索してますよね。
Twitter 側の制限で streaming API だと検索キーワードに CJK（中日韓の文字）を使えません。そのために取得ツイート数が少なかったのだと思います。
なお、少ないとはいえ60ツイート/時間ぐらい取得出来たのは、キーワードの前後に区切りになるような文字が入っていたのだと思われます。
参考：Ruby - Heroku+Firebase で無料+簡単ツイート収集 - Qiita

streaming API での検索は諦めて、地道に通常の検索（Twitter::REST::Search#search）を使いましょう。
例えばこんな感じです。

require 'twitter'

client = Twitter::REST::Client.new do |config|
  config.consumer_key        = API_KEY
  config.consumer_secret     = API_SECRET
#  config.access_token        = ACCESS_TOKEN
#  config.access_token_secret = ACCESS_TOKEN_SECRET
end

max_id = nil
loop do
  result = client.search('選挙', count: 100, lang: 'ja', locale: 'ja', result_type: 'recent', since_id: max_id)
  max_id = result.attrs[:search_metadata][:max_id]
  result.take(100).reverse.each do |status|
    puts "#{status.created_at}: #{status.user.screen_name}: #{status.text}"
  end
  sleep 5
end

完全なリアルタイム検索ではありませんが、5秒毎であればかなりリアルタイム性が高いと思います。
ただこのままだと取得ツイートに ReTweet が多く含まれています。それらは削除した方が見やすくなるかと思います。
なお、通常の OAuth 接続だと API 制限が180回/15分（12秒毎）ですが、 Application-only authentication を使えば制限が450回/15分（5秒毎）まで緩和されます。上記例では config に consumer_key と consumer_secret だけを渡して App-only auth を使う例を示しています。

Comments

[riocampos]

一週間経っても反応無いのね。返答ぐらいすればいいのに。

Answer 2

スパムと判定されたツイートはTwitter側のポリシーによりストリーミングのレスポンスには含まれないようになっています。単純にスパム判定を通過した「衆議院」を含むツイートが60件/1時間しかなかった、それだけのことでしょう。