Q&A
それって単なる迷惑行為では。
こんにちは。
私は、現在実装したいプログラムがあります。
内容は、Python・Seleniumを用いたWebスクレイピングなのですが、このコードをWhileループを用いて組んでおります。
ローカル環境のJupyter Lab, Visual Studio Codeを用いれば容易に実装できるのですが、その場合PCを24時間起動しておく必要があると思います。
PCをずっとつけておかない方法で、この無限ループを実装する方法はありませんか？
私が、考えた方法は、「heroku」を用いる方法、「Docker」を用いる方法でしたが、Chrome webdriverをどのように組み込めばいいのかわかりませんでした。
回答3件
0
そのサイトにから24時間たえまなく情報を取得していいとはあまり思えないのは他の方と同様ですが、
- 自宅のPCを常時稼動させておく
- 自宅に小さなサーバを立てて常時起動してそこで動かす。
- レンタルサーバを借りる
- HerokuなどのPasSを利用する
などいろいろあります。
Dockerというのは、それらに環境を含めて実装/デプロイする方法なので、次元が違います。
投稿2021/05/05 11:04
総合スコア14286
0
ベストアンサー
無限ループでスクレイピングという時点で対象となるサーバーへの無制限の負荷をかけるという事はある種のサーバー攻撃になってしまうのでここは問題外の話として
毎日（もしくは１時間おきなどの定期的な）決まった時間帯だけに絞って対象のページをスクレイピングしてデータを更新するという手段ならば
ローカルで開発したアプリをクラウドサーバーサービスにデプロイしてそのサーバーにcronを設定するなどなら可能です。
https://www.server-memo.net/tips/crontab.html
HerokuでChromeDriverを利用する場合はHerokuが用意している専用のビルドパックの利用ができます
https://elements.heroku.com/buildpacks/heroku/heroku-buildpack-chromedriver
投稿2021/05/05 09:32
総合スコア52
24時間アクセスし続けるというのは、確かに現実的ではなかったです。
まずは、sikaさんの意見を参考にして、Herokuでスクレイピングの定期実行をやってみようと思います。
0
あなたの考えた方法のいずれを使ったところで、
PCをずっとつけておかない方法で、この無限ループを実装する方法はありませんか？
これを実現できないと思いますが
投稿2021/05/05 08:50
総合スコア88163
あなたの回答
tips
プレビュー
