sitemapxml.jpのようなURLを使用するWEBサービスでページが取得できない。

Question

発生している問題

WordPressを使用したWEBページを作成しました。
ブラウザ上では問題なく表示されますが

http://www.sitemapxml.jp/
http://www.seotools.jp/

上記のようなURLを指定して取得するWEBサービスを使用しても
「指定したURLにアクセスできませんでした。」「ご入力の「解析するサイト」は開けません。」
と表示され接続ができません。

試したこと

■ドキュメントルートに下記内容のrobot.txtを追加

User-agent : *   
Disallow :

※robot.txtを削除しても変化はありませんでした。
■WordPress管理画面より「サイトをインデックスしないようにする」のチェックを外す。

■ベーシック認証等はとくに指定しておりません。

■下記内容でhttpsにリダイレクトしていますがコメントアウトしても変化ありませんでした。

<?php 
// session_start();
if($_SERVER['HTTPS']!="on" && strpos($_SERVER['HTTP_HOST'],"localhost")===false){
	$url=$_SERVER["HTTP_HOST"].$_SERVER["REQUEST_URI"];
	header("Location: https://".$url,TRUE,301);
	die();
}
?>

Comments

[m.ts10806]

robot.txtに書かれた内容は理解された上で設置していますか？

[nakama11]

ありがとうございます。　「全てのクローラーに対して、ブロック指定無し」の認識で設置しております。

[m.ts10806]

回答しました。逆の意味です。　←すみません。質問者さんの解釈は正しいです。

[m.ts10806]

あ、もしかしたら勘違いしたかもしれません。回答調整します。

[m.ts10806]

間違った回答をしたので回答内容調整中です。参考にしないようにしてください。失礼しました。

[m.ts10806]

robot.txtを設置しなかったケース、Sitemapのみ指定したケースも試していただけますか？

[nakama11]

かしこまりました　指定の2パターン確認しましたが特に変化はございませんでした..

[m.ts10806]

念のため「SEO」もタグに入れておいてください。　あと教えていただきたいのが、対象のWebサイトを公開したのはどれくらい前か（ドメイン取得・公開）です。あまり時間がたっていない場合、検索順位というか、サイト評価がない状態のためクロールできない可能性がないわけではないです

[nakama11]

タグの件ご指示ありがとうございます！　サイトの公開については2016年4月頃、2018年3月頃にWordpressを設置してリニューアルしております。　Google検索では1ページ以内には検索がヒットする状態です。

[m.ts10806]

リニューアル時にドメイン移管したりサーバー移管したりはしていないですよね？

[nakama11]

はい　移設などはしておりません。

[m.ts10806]

サイトの公開とWordpressリニューアルからの経過時期も問題なさそうですし、指定自体も問題なさそうですね・・。サーバーも同じ。アクセス解析のツールなどは入れられていますか？Google解析とか。そちらもおそらく問題なくアクセスとれてますよね？

[m.ts10806]

https://webtan.impress.co.jp/e/2018/02/09/28277 ←この記事で紹介されているツールも幾つか試してみてください。質問者さんの目的・要件に沿うものがあるかわかりませんが・・

[kei344]

お使いのサーバはどこかのレンタルサーバでしょうか？

[yukihisa]

とりあえず調査として “site:https://ドメイン” で検索してみたらどうなるでしょうか？
これで引っかかればクロールはされています。引っかからなければクロールされていません。
以前からあるとのことなので、新しいサイトが表示されるかの確認をしてください。
また、古い方のゴミが残っている可能性もありますので。

[nakama11]

返答おそくなりすみません　「Lighthouse」のアドオン使用してみたところパフォーマンス、PWAの点数が低いので調査してみます

[nakama11]

レンタルサーバーはGMOのお名前.comのものを使用しております。

[nakama11]

“site:https://ドメイン” 　で検索してみたところ問題なくページは引っかかっておりました

Answer 1

ちょっと解釈を間違っていました。回答参照しないようにお願いします（一応、調整中です）

Disallow は直訳すると「禁じる」
User-agent の指定値は * これはワイルドカードで、他に何もなければ「全て」です。
CSSなんかでも全ての要素に指定したい場合は*{}と書きますね。

つまり、「全てのユーザー（のクロール）を禁じる」という意図の指定になります。
参考：robots.txtの書き方-基本形式の記述

提示の2サイトがどのように回ってサイト内容を解釈しているかの仕組みはわかりませんが、
クローラーと同様の機能と思います。
つまり、このDisallow 指定が効いているがためにクローラーサイト経由でのアクセスができなかったものと思われます。
とりあえずクロールさせたいのであれば、robots.txtは不要かと思います。
ひとまず確認できたらrobots.txtの書き方-クロールを許可するにあるように個々に制限・許可を指定していけば良いです。

Comments

[m.ts10806]

高評価いただいてもうしわけないですが、間違った回答をしてしまったので取り下げていただければと・・・。

[kei344]

「Disallow の指定が間違っている」のは間違っていないように思うのですが･･･。

[m.ts10806]

冒頭見当違いのことを書いてしまったため、ちょっとそのあとが今ひとつつながらなくなった感じで、具体的な解決策まで提示できてないな、と思っての取り消し線でした。
私自身もこのあとどう回答を調整していっていいか探っていて辿り着けていなかったりします。