robots.txt テスターの使い方について

Question

スクレイピングを学習していて、実際に参考書以外のサイトからスクレイピングをしてみようと思ったのですが、著作権などに引っかかる恐れがあってはいけないと思い、robots.txtテスターを使いサイトのスクレイピング有無を確認するため、サイトに移動した際、

プロパティが表示されないという画面がでてきます。

テスターの画面はこのようになっているということで、前の画面でプロパティを追加してみようと思ったのですが、
プロパティタイプを確認してくださいということがでてきました。

自分の調べたいサイトのURLを入れたのですがプロトコルとパスを削除されしてくださいなどとでてきました。
削除してみたのですがうまくいきません。

こちらの画像に行くためにはどのように行けばよろしいでしょうか・・・

もしアドバイスをいただけたら幸いです。

Answer 1

おそらく、経年変化で画面が変わっていると思います。

自分の調べたいサイトのURLを入れたのですがプロトコルとパスを削除されしてくださいなどとでてきました。

右側のURLプレフィックスを使えば、実行はできると思います。ただし、本来は、自分のサイトの robots.txt をチェックするものです。

ドメイン名の場合、例えば、URLがこの質問の「https://teratail.com/questions/260020」であれば、プロトコルは、「https://」の部分を、パスは「/questions/260020」の部分を削除して、「teratail.com」だけを入れれば、次へ行けると思います。

直接の参考にはなりませんが、robots.txtテスターを探すまでに読んだページのリンクを貼っておきます。

【旧サーチコンソール】robots.txtテスターの使い方をわかりやすく解説 | SEO World

なお、単にそのサイトに robots.txt が存在するかどうかをみれば、直接、アクセスしてみるてもあります。例えば、teratail さんの場合は、以下のリンクで URL できます。（敢えてリンクにはしませんが。）

https://teratail.com/robots.txt

Comments

[datemon123]

連絡ありがとうございます。
この自粛中にスクレイピングを学ぼうと学習しているのですが、プログラム初心者のため日々模索中です。
こうして回答していだけて助かります。これからも頑張ります