Windowsマシンを使用して定期的にWebスクレイピングが行えないかと考えております。
調査を進めたところ下記項目にて躓いてしまいました。
・スクレイピング方法によってはjavascriptが動かない(※rubyのmechanize等)
・定期的に動作させるためにタスクスケジューラへ登録したもののブラウザが立ち上がらない(※ただしユーザをログオン状態にしたままなら動作する事を確認)
その他仕様について下記に記載します。
・Webスクレイピングを行いたいサイトのURLは固定
・javascriptでのページ遷移あり
・ページ遷移過程にて別ウィンドウで開く箇所あり
・ファイルのダウンロードあり(※ファイル種類は未定)
・使用ブラウザに制限は無し(※Windowsマシンで動けば問題無し)
・定期的動作期間は1日に数回、毎日動作を予定
どうぞよろしくお願い致します。
バッドをするには、ログインかつ
こちらの条件を満たす必要があります。
2018/03/08 07:46