定期的に特定のサイトにログイン後、csvファイルをダウンロードするという処理をしたいのですが普段のスクレイピング処理に使っている selenium-webdriver
+ phantomjs
をRubyで使うという組み合わせではうまくいかない事がわかりました。
Firefoxをheadlessで使いWebDriverの立ち上げ時に設定を与えることで保存ディレクトリを変更することもできるようですが、非常にトリッキーで設定項目も変わりやすくできれば使いたくありません。
またCasperjsを使えばもう少しわかりやすく行えそうなのですが、javascriptは慣れていない上にCasperjs自体がまだ不安定という話を散見しました。
何か他に安定してるHeadlessのブラウザで特定のサイトにログイン後csvファイルをダウンロードする良い方法をご存じの方がいたら教えていただけないでしょうか。
バッドをするには、ログインかつ
こちらの条件を満たす必要があります。
2015/05/11 05:03