pythonでtwitterをスクレイピングしています。
pipでtwintをインストールして、キーワードと日時を条件にデータ取得してjson形式で出力させるんですが、処理が完了しません。
jsonファイルは生成されデータも正しく出力されています。
しかし、「twint.run.Search(c)」 以降のプログラムが実行されていないようです。
import twint from datetime import datetime, timedelta nowdate = datetime.now() strdate = "{0:%Y-%m-%d %H:%M:%S}".format(nowdate) c = twint.Config() c.Search = 'lang:ja' c.Since = strdate c.Store_json = True namedate = "{0:%Y%m%d%H%M%S}".format(nowdate) print(namedate) c.Output = 'result' + namedate + '.json' twint.run.Search(c) print('end')
上記プログラムを実行しても「end」が出力されませんでした。
実行中も疑いましたが、ディレクトリ内の更新状況を見る限りjsonへの出力も完了しているようです。
ちなみにツイートの少ないUsernameを条件でスクレイピングすると完了したりします。
データ量の問題なのでしょうか?
ご教示お願いいたします。
回答1件
あなたの回答
tips
プレビュー
バッドをするには、ログインかつ
こちらの条件を満たす必要があります。