Pythonで時刻指定してスクレイピングするwebアプリを作成したい

Question

前提・実現したいこと

件名の通り、Pythonで時刻指定してスクレイピングするwebアプリを作成したい。
webブラウザの入力フォームに時刻を入力し、その時刻まで待機して、スクレイピングを実行するイメージ。

発生している問題

Flaskでスケジュール機能を実装する方法が分からず、どのような方法を取れば実現可能なのか知りたいです。

試したこと

Selenium、BeautifulSoup、APSchedulerを用いてコンソールで実現することはできているのですが、ブラウザで他人も実行できる環境にしたいので、FlaskやDjangoでデプロイできればと考えています。

Answer 1

自分の経験上のお話ではあるのですが、Flaskに限らずWebアプリケーションフレームワークはあまりタイマー機能を持っていないと思われます。
こういう機能構造でよくみるのはバッチをDB等に登録し、それを別の常駐プロセスまたはcronによる定期実行で読み取って実行するという方式かと思います。

例えば、
0. 実行時間と対象URLをもつテーブルを用意し、Webリクエストがあったときにレコードを登録する。
0. cronで1分単位でそのテーブルを監視し、対象時間のリクエストがあればスクレイピング処理を起動する。

こういうやり方でも目的は達成できそうですがいかがでしょうか？

Comments

[wario13]

回答ありがとうございます！
方式は理解できました、分かりやすいです。
さらに詳しくお尋ねしたいのですが、具体的にはどのサービスを利用する例が挙げられるでしょうか。
特に「別の常駐プロセスまたはcronによる定期実行」という部分を担うものについて知りたいです。

[mackerel6.023]

基本的にコンピューターの時間を管理しているのはOSですので、OS標準の機能を使うほうがやりやすいと思います。

Linuxであればcronサービスを利用して、毎分DBをチェックして対象があれば処理を実行するという処理を呼び出せばよいかと思います。
Windowsであればタスクスケジューラで同じことができます。

常駐プロセスの場合は特定のサービスを使うわけではありません。
無限ループを作っておいて、その中でDBをチェックして対象があれば処理を実行し、なければ60秒停止する、というプログラムを作って実現します。

[wario13]

お返事が遅くなりすみません。
要領を得ない質問で申し訳ありませんでした。
ローカルPCを離れた環境を準備したいので、探してみます。
たいへん参考になりました、ありがとうございました。