質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.50%
IPv4

IPv4(Internet Protocol version 4)は、インターネットプロトコルの一つ。インターネットに繋がったコンピューターや機器を識別するためのIPアドレスを32ビット表記で表わします。しかしIPv4は、限界があるため、IPv6が次世代プロトコルとして注目されています。

Apache

Apacheは、Apache HTTP Serverの略で、最も人気の高いWebサーバソフトウェアの一つです。安定性が高いオープンソースソフトウェアとして商用サイトから自宅サーバまで、多くのプラットフォーム向けに開発・配布されています。サーバーソフトウェアの不具合(NCSA httpd)を修正するパッチ(a patch)を集積、一つ独立したソフトウェアとして開発されました。

Linux

Linuxは、Unixをベースにして開発されたオペレーティングシステムです。日本では「リナックス」と呼ばれています。 主にWebサーバやDNSサーバ、イントラネットなどのサーバ用OSとして利用されています。 上位500のスーパーコンピュータの90%以上はLinuxを使用しています。 携帯端末用のプラットフォームAndroidは、Linuxカーネル上に構築されています。

.htaccess

Apacheウェブサーバーにおいて、ディレクトリ単位で設置及び設定を行う設定ファイルを指します。

Q&A

解決済

5回答

6400閲覧

拒否していいipアドレスか見分け方

tego39453

総合スコア7

IPv4

IPv4(Internet Protocol version 4)は、インターネットプロトコルの一つ。インターネットに繋がったコンピューターや機器を識別するためのIPアドレスを32ビット表記で表わします。しかしIPv4は、限界があるため、IPv6が次世代プロトコルとして注目されています。

Apache

Apacheは、Apache HTTP Serverの略で、最も人気の高いWebサーバソフトウェアの一つです。安定性が高いオープンソースソフトウェアとして商用サイトから自宅サーバまで、多くのプラットフォーム向けに開発・配布されています。サーバーソフトウェアの不具合(NCSA httpd)を修正するパッチ(a patch)を集積、一つ独立したソフトウェアとして開発されました。

Linux

Linuxは、Unixをベースにして開発されたオペレーティングシステムです。日本では「リナックス」と呼ばれています。 主にWebサーバやDNSサーバ、イントラネットなどのサーバ用OSとして利用されています。 上位500のスーパーコンピュータの90%以上はLinuxを使用しています。 携帯端末用のプラットフォームAndroidは、Linuxカーネル上に構築されています。

.htaccess

Apacheウェブサーバーにおいて、ディレクトリ単位で設置及び設定を行う設定ファイルを指します。

0グッド

5クリップ

投稿2021/09/14 05:47

短時間に異常な数のアクセスを受けてサーバーが停止することが最近しばしばあります。
悪意のある何者かによる仕業だと思っております。

そこで .htaccess で ipアドレスを制限したいのですが、クローラーやその他、拒否しない方がいいipアドレスもあると思います。
拒否する、しないの区別はどのようにすればいいのでしょうか?

試したこと

接続元ホストをカウントすると以下のように出ます。(一部抜粋)

$ netstat -tan | grep ':80 ' | awk '{print $5}' | cut -d : -f1 | sort -n | uniq -c | sort -n 7 49.97.27.20 7 59.129.225.179 7 59.129.95.154 8 126.157.10.178 8 14.9.128.192 8 157.109.160.180 8 182.161.72.193 8 202.233.85.13 8 202.233.85.14 8 23.100.232.233 8 60.36.222.211 9 104.155.203.87 9 112.70.53.99 9 126.182.12.244 9 202.233.85.15 10 140.238.95.47 11 210.166.55.109 11 210.171.209.149 11 60.73.226.106 12 207.46.13.48 12 66.249.79.19 15 13.66.139.0 120 157.55.39.90 121 66.249.79.17 128 157.55.39.13 133 207.46.13.83 139 207.46.13.76 141 40.77.167.36 150 157.55.39.81 154 66.249.79.15 165 40.77.167.14 1311 157.55.39.172

例えば、カウント数が一番多い、157.55.39.172 のipアドレスについてWHOIS情報を検索します。

こちらのページを利用しました。
https://www.cman.jp/network/support/ip.html

すると次のような情報が得られます。

/////////////////////////////////////////////
入力の逆引き または 正引き
msnbot-157-55-39-172.search.msn.com

Organization: Microsoft Corporation (MSFT)
/////////////////////////////////////////////

この辺りの情報から Microsoft からのアクセスだから、信頼できるのでipアドレスは拒否しない方がいいという判断をくだせばいいのでしょうか。

ipアドレスを拒否していいかいけないかの判断方法を教えてください。

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

guest

回答5

0

ベストアンサー

少なくとも 157.55.39.172 は逆引きの結果にあるとおり
BingのbotのIPアドレスなので制限してしまうとBingの検索結果に表示されなくなるかもしれません。

各検索エンジンの運営者が、クロールに使用するIPアドレス帯を公表してくれているのでそこに当てはまる
IPアドレスは制限しない方がよろしいかと思います。

ちなみに、質問文の中のリストだと 207.46.13.48 よりあとはすべてbingとgoogleのクローラーのようです。

クローラーの判定方法
google
https://developers.google.com/search/docs/advanced/crawling/verifying-googlebot?hl=ja

bing
https://www.bing.com/webmasters/help/how-to-verify-bingbot-3905dc26

ご参考(まとめ系なので裏とりが必要かもしれません。)
https://www.techarp.com/guides/search-engine-robot-ip-addresses/

投稿2021/09/14 06:18

YakumoSaki

総合スコア2027

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

0

のように、一定時間内の同一IPからのアクセス数を制限する対応が現実的ではないでしょうか

投稿2021/09/14 05:57

yambejp

総合スコア114583

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

0

質問者のタイトルと若干ズレますが、経験での話をしますとIPアドレスが検索エンジンという事でrobots.txtに

User-agent: msnbot Crawl-delay: 120

など秒単位で、クロール頻度の遅延をしてみてはいかがでしょうか?

ちなみにgoogleはサーチコンソールでクロール頻度の設定、Bingもウェブマスターツールでクロール設定の時間設定ができます。

IPの裏引きを確認していませんが、広告のクローラーが回ってくるタイミングの頻度調整もあるかもしれません。

またコンテンツが変わっていないのであればLast-Modifiedヘッダで304を返すことで負荷を減らせる場合もあるかと思います。

上記辺りは基本的に制御できますし、IPの拒否はしない方がよいと思います。
ただ海外の検索エンジンでも行儀の悪いボットはrobots.txtを無視するのもあるので、悩ましい所ですが閲覧想定の国でなかったりシェアなど切り捨ての考慮も必要になると思います。

スクレイピングをしてくるボットもいますので、どのようなアクセスをしているかなどを確認して不審なアクセスであればブロックして良いと思います。

投稿2021/09/21 00:14

yasfmi

総合スコア11

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

0

fail2banをご検討してみてください。
私も以前、大量の不正アクセスに苦慮しておりました。
netstat -anの結果の多さに驚いたり、/var/log/{messages, auth.log}の大量ログには本当に苦労しました。
実際に使っている人が多いので、設定方法や運用方法は検索するとたくさん出てきますよ。

投稿2021/09/20 23:43

manipulator

総合スコア14

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

0

whoisではざっくりしたことは確実にわかりますが、それ以上が分かりません。
IPレピテーションが参考にし易いです。

"OSINTツール Mitaka でディグってみよう | ninoseki.github.io" https://ninoseki.github.io/2018/08/03/mitaka.html

投稿2021/09/20 23:19

Oshiete-kun

総合スコア51

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.50%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問