サーチコンソールでなぜか4，5日クロールがこない。

Question

全てのページをリクエストして4，5日たっているのにクロールがきません。サーチコンソールは何度も利用しているので、基本的な対応はしてみました。

特殊な状況としては、数週間前までwordpressでインデックスしない設定をしていました(これをするとrobotx.txtがdisallow:/になる)。

その時(数週前)にhttpの方のトップページにクロールが来て「robots.txt によりブロックされましたが、インデックスに登録しました」という状況です。それも改めて登録のリクエストしていますが、音沙汰ナシです。現状robots.txtは訂正済でテスターからも送信済です。

状況

**・**上記httpトップページ以外全ページで「URL が Google に登録されていません」。一切クローラーが来ておらず、「前回のクロール」は「該当なし」。

**・**ライブテストすると全てのページで「URL は Google に登録できます」と表示

Comments

[退会済みユーザー]

そのサーバーのアクセスログもチェックしてください

[iwai_desu]

ありがとうございます。サーバーのログをチェックするとbotのアクセスはありました。ただダッシュボード上では前回のクロール「該当なし」になっています…。

Answer 1

robots.txtのキャッシュが有効なうちはクロールに来ないでしょうね。

sitemap.xmlを更新して登録し直す、
ページのURLをいくつか入力して強制的にGoogleに読ませてみるなど、
打てる手を打っていくしかないのかな。

Comments

[iwai_desu]

ありがとうございます。robots.txtテスターで最新の情報を送信して、robots.txt テスター上では一応反映されてるんですが、それではキャッシュは消えきらないんですね・・。ご回答有難うございました。

[退会済みユーザー]

単一サーバー単一DBじゃなく、クラウドのバケツリレー的な伝達の遅さの悪い面が出てるのかもしれません。