python スクレイピング

Question

pythonのスクレイピングで取得した値の重複を防ぐコードを書きたいと思っているのですが、どれが一番効率が良く、ベストの方法か皆さんの助言、アイデアをいただきたく質問しました。
スクレイピングの値の取得コードを

schedule.every(60).minutes.do(run)
```で書いているため更新されていない場合重複してしまいます。

自分が今考えて一番簡単と思っている方法は、スクレイピングで取得した値をMySQQLに入れそこで重複した値を消す作業です。

①　スクレイピング（値の取得）
②　①の値をMySQLに入れる
③　そこで重複している値を消す。
④　完成

を考えているのですが、もっと簡単な方法（サイトなど）があれば教えていただけますと嬉しいです。

よろしくお願いいたします。

Answer 1

別に処理時間が問題になる処理ではないので、自分がやりやすい方法でやればいいと思います。

Pythonだけで変数上で処理するのが簡単だと思いますが、途中でプログラムが落ちた場合を考慮すると、データが永続化されるようにファイルやDBを使うのは悪い考えではないです。

私なら、Pythonのスケジュール機能でタイマー実行するのでなく、タイマー起動はcronにやらせて単発の処理をするPythonプログラムを書いて、前回データはファイルに保持します。