スクレイピングしているときの、MYSQLの負荷について。
毎分スクレイピングし、DBに入れているのですが、MYSQLに負荷がかかり、速度が不安定になり、使い物にならなくなります。
このような場合はどのようにするのがベストでしょうか?
反映されるのは1時間に1度でいいので、スクレイピングデータを保存するDBサーバーを一つ借り、そこにデータを格納していく。
1時間ごとにDBをコピーしていく・・・という方法がよいでしょうか?
よろしくお願いします。
私自身はご質問の答えがわからないのですが。。不安定になってしまうマシンの現在のスペックだとか、毎分・毎時にスクレイピングで取得されるデータ量、DBの設定やテーブル構造などできるだけ詳しい情報を書いたほうが、詳しい人が答えやすいと思います。