拒否していいipアドレスか見分け方

短時間に異常な数のアクセスを受けてサーバーが停止することが最近しばしばあります。
悪意のある何者かによる仕業だと思っております。

そこで .htaccess で ipアドレスを制限したいのですが、クローラーやその他、拒否しない方がいいipアドレスもあると思います。
拒否する、しないの区別はどのようにすればいいのでしょうか？

試したこと

接続元ホストをカウントすると以下のように出ます。（一部抜粋）

$ netstat -tan | grep ':80 ' | awk '{print $5}'  | cut -d : -f1 | sort -n | uniq -c | sort -n


      7 49.97.27.20
      7 59.129.225.179
      7 59.129.95.154
      8 126.157.10.178
      8 14.9.128.192
      8 157.109.160.180
      8 182.161.72.193
      8 202.233.85.13
      8 202.233.85.14
      8 23.100.232.233
      8 60.36.222.211
      9 104.155.203.87
      9 112.70.53.99
      9 126.182.12.244
      9 202.233.85.15
     10 140.238.95.47
     11 210.166.55.109
     11 210.171.209.149
     11 60.73.226.106
     12 207.46.13.48
     12 66.249.79.19
     15 13.66.139.0
     120 157.55.39.90
     121 66.249.79.17
     128 157.55.39.13
     133 207.46.13.83
     139 207.46.13.76
     141 40.77.167.36
     150 157.55.39.81
     154 66.249.79.15
     165 40.77.167.14
    1311 157.55.39.172

例えば、カウント数が一番多い、157.55.39.172 のipアドレスについてWHOIS情報を検索します。

こちらのページを利用しました。
https://www.cman.jp/network/support/ip.html

すると次のような情報が得られます。

/////////////////////////////////////////////
入力の逆引きまたは正引き
msnbot-157-55-39-172.search.msn.com

Organization: Microsoft Corporation (MSFT)
/////////////////////////////////////////////

この辺りの情報から Microsoft からのアクセスだから、信頼できるのでipアドレスは拒否しない方がいいという判断をくだせばいいのでしょうか。

ipアドレスを拒否していいかいけないかの判断方法を教えてください。

行動規範の内容に同意します

回答5件

ベストアンサー

少なくとも 157.55.39.172 は逆引きの結果にあるとおり
BingのbotのIPアドレスなので制限してしまうとBingの検索結果に表示されなくなるかもしれません。

各検索エンジンの運営者が、クロールに使用するIPアドレス帯を公表してくれているのでそこに当てはまる
IPアドレスは制限しない方がよろしいかと思います。

ちなみに、質問文の中のリストだと 207.46.13.48 よりあとはすべてbingとgoogleのクローラーのようです。

クローラーの判定方法
google
https://developers.google.com/search/docs/advanced/crawling/verifying-googlebot?hl=ja

bing
https://www.bing.com/webmasters/help/how-to-verify-bingbot-3905dc26

ご参考（まとめ系なので裏とりが必要かもしれません。）
https://www.techarp.com/guides/search-engine-robot-ip-addresses/

投稿2021/09/14 06:18

YakumoSaki

総合スコア2027

Apacheに対するサービス拒否攻撃を回避する方法 | 日経クロステック（xTECH）

のように、一定時間内の同一IPからのアクセス数を制限する対応が現実的ではないでしょうか

投稿2021/09/14 05:57

yambejp

総合スコア116724

質問者のタイトルと若干ズレますが、経験での話をしますとIPアドレスが検索エンジンという事でrobots.txtに

User-agent: msnbot
Crawl-delay: 120

など秒単位で、クロール頻度の遅延をしてみてはいかがでしょうか？

ちなみにgoogleはサーチコンソールでクロール頻度の設定、Bingもウェブマスターツールでクロール設定の時間設定ができます。

IPの裏引きを確認していませんが、広告のクローラーが回ってくるタイミングの頻度調整もあるかもしれません。

またコンテンツが変わっていないのであればLast-Modifiedヘッダで３０４を返すことで負荷を減らせる場合もあるかと思います。

上記辺りは基本的に制御できますし、IPの拒否はしない方がよいと思います。
ただ海外の検索エンジンでも行儀の悪いボットはrobots.txtを無視するのもあるので、悩ましい所ですが閲覧想定の国でなかったりシェアなど切り捨ての考慮も必要になると思います。

スクレイピングをしてくるボットもいますので、どのようなアクセスをしているかなどを確認して不審なアクセスであればブロックして良いと思います。

投稿2021/09/21 00:14

yasfmi

総合スコア11

fail2banをご検討してみてください。
私も以前、大量の不正アクセスに苦慮しておりました。
netstat -anの結果の多さに驚いたり、/var/log/{messages, auth.log}の大量ログには本当に苦労しました。
実際に使っている人が多いので、設定方法や運用方法は検索するとたくさん出てきますよ。

投稿2021/09/20 23:43