質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.50%
セキュリティー

このタグは、コンピューターシステムの安全性やデータの機密性に関連したトピックの為に使われます。

WordPress

WordPressは、PHPで開発されているオープンソースのブログソフトウェアです。データベース管理システムにはMySQLを用いています。フリーのブログソフトウェアの中では最も人気が高く、PHPとHTMLを使って簡単にテンプレートをカスタマイズすることができます。

Q&A

解決済

2回答

804閲覧

robots.txtについて

MIA

総合スコア16

セキュリティー

このタグは、コンピューターシステムの安全性やデータの機密性に関連したトピックの為に使われます。

WordPress

WordPressは、PHPで開発されているオープンソースのブログソフトウェアです。データベース管理システムにはMySQLを用いています。フリーのブログソフトウェアの中では最も人気が高く、PHPとHTMLを使って簡単にテンプレートをカスタマイズすることができます。

0グッド

1クリップ

投稿2018/10/08 16:19

検索エンジンへのサイトのインデックスはまだしないようにしているのですが
海外のよくわからない検索エンジンがサイトのrobots.txtを読みに来ます
なんでなんでしょうか?(><)

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

guest

回答2

0

ベストアンサー

Google 等に登録していないのにアクセスがあるのはなぜ?という疑問でしょうか?

独自ドメインをまだ設定していない VPS にアクセスがあることがあったときに調べてみたことがあるのですが、複数のサーバーのアクセスログを調べた結果、ドメインに関係なく IP アドレスを順番にアクセスしてきていると結論付けたクローラーもありましたので、このようなタイプということはないでしょうか?

また、そのドメインを別の方が過去に使われていて、過去のドメインのキャッシュが残っていて、アクセスがあったりするのかもしれません。
google で、出てこなかったので、新しいドメインと思って取得したら、よくわからないURL にアクセスがあるので、詳しく調べたら、5年ぐらい前まで使われていたということが、WebArchive のキャッシュから判明した経験もありますので、このような例もあります。

投稿2018/10/08 23:51

編集2018/10/08 23:55
CHERRY

総合スコア25171

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

MIA

2018/10/09 10:07

そうなのですよね。 インデックスをしないように設定しているのになぜ海外の検索サイトからアクセスがあるのだろうか?思っていました。 わかりやすく解説していただきありがとうございます!!
guest

0

検索エンジンがクロールを行う際、まずはrobots.txtから読んで、どのようなルールでクロールしていいかを判断しています。

投稿2018/10/08 21:41

maisumakun

総合スコア145123

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

MIA

2018/10/09 10:05

なるほどです! 特に作った覚えのないファイルでしたので、少々不安になりました。。。 よく調べてみます!!
guest

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.50%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問