現在運営しているサービスで、Googlebotによる無限(?)クロールが行われていますので対策を実施しています。
具体的には、URLの末尾の?page=
の数字をインクリメントして数分ごとの頻度でクロールされます。
このクロールによって、サイト全体のページのインデックス数が実際のページ数に対して数倍になってしまっています。
これを適正な数値まで下げたいのですが、これまでに行った対策では1週間ほど経っても効果がなさそうです。
ちなみにインデックス数はGoogleのsite:指定検索した検索結果で計測しています。
これまでに行った対策
対象のページのhead
セクションにlink
タグを追加。
<link rel="prev" href=... /> <link rel="next" href=... />
データが存在する最終ページを超えた場合に、noindex
指定。
<meta name="robots" content="noindex" />
インデックス済みページのURLを記載した内部リンク集ページを作ってFetch as Googleで送信済み。
ページ記載のURLへのbotのクロールもログで確認できています。
以上を行い1週間くらい経過しましたが、検索結果数に変化が見られません。
今後404を返すように変更することも考えています。
他に考えられる対策はありますでしょうか。
ご助言いただければ幸いです。
バッドをするには、ログインかつ
こちらの条件を満たす必要があります。