異常アクセス対策

Question

1.wgetでのアクセス
2.bingのクローラrobot
3.その他クローラrobot
からのアクセスが異常に頻繁にあり、
httpdを埋め尽くしてサイトに負荷をしまう場合が度々起こります。
みなさんはどのように対応をしているのでしょうか。
ご参考までに教えていただけますか？
大量アクセスを受けるサーバーはレンタルサーバーの場合と、自社サーバーの場合両方あります。

Answer 1

頻繁にクローリングされるという事は、きっと有用な情報を提供されていらっしゃるのでしょうね。

最近では誰でも手軽にクローリング出来てしまうので、基礎知識やモラルに欠けた人々が無節操なやり方でクローリングしているのかもしれません。

仮に本人には悪意がなかったとしても、迷惑を被る側からすればDos攻撃を受けているのとあまり変わらないので、対策方法も基本的には同じで良いと思います。

例えば下記ページを参考にApacheを設定してみてください。

ApacheのDOS攻撃対策

いくらかでもご参考になれば幸いです。