Q&A
何を参考に指定したのでしょうか。
あと、それなりに質問出ていますが、それらは参考になりませんか？
https://teratail.com/search?q=robots.txt
robots.txtによるトップページのみクロールの許可は以下でよろしいのでしょうか？
サイト名は（sampleXXXXXX.com）だと仮定します。
txt
1User-agent: * 2Disallow: / 3Allow: //
回答1件
0
ベストアンサー
Google Search Consoleに対象サイトを登録すると
(www.google.com)robots.txt テスターでテストできるのでこちらの利用をお勧めします。
詳細は以下参照
(support.google.com)robots.txt テスターで robots.txt をテストする
投稿2020/10/17 12:11
総合スコア7918
あなたの回答
tips
プレビュー
