robots.txt sitemap.xml について

Question

いつもお世話になっています 以下２つ質問があります
robots.txt sitemap.xmlがサイトのどのURLに存在するかどうかはどう調べればいいのでしょうか？

またそもそも存在しないサイトもあると思うのですが、サイトに存在しないという根拠は何から得られますか？

よろしくお願いします

Answer 1

robots.txt はそのサイトのトップに置かなくてはなりませんので
調べるならそのサイトのトップにあるかどうかを確認すればOKです。
sitemap.xml については robots.txt 内で指定できるのでトップで
ないどこかの階層であったり、複数箇所に分割配置したりなどの
対応も可能です。
また、質問の意味がよく理解できていないのですが、存在しない根拠
というのは調べてみて無かったら存在しない、ではダメなのでしょうか？

Comments

[curekaishine]

回答ありがとうございます
トップに置かないといけないのですね。
ということはrobots.txtはテラテイルなら
https://teratail.com/robots.txt　
ドメイン名のすぐ後ろにつけてあげて、アクセスして表示されたらOK
無い時はrobots.txtが無い！

sitemap.xmlはrobots.txtにあるか確認
＆
https://teratail.com/sitemap.xml
にあるか確認
どちらにも無い時はsitemapxmlが無い！

という理解であってますでしょうか

[HiroshiWatanabe]

はい。それでいいと思います。というか私はそのように理解しています(苦笑)
なお、sitemap.xmlはrobots.txtで別のファイル名で定義されているかも
しれませんのでsitemap.xml決め打ちでrobots.txt内を検索する的な簡易判断
ができない点はご注意ください。(書式に従って判別してください)