wp-admin/admin-ajax.php以外のページをnoindexしたい

Question

こんばんは。
google search consoleよりwp-admin以下のフォルダが
「robots.txt によりブロックされましたが、インデックスに登録しました: このページは robots.txt によりブロックされましたが、インデックスに登録されています（Google では、常に robots.txt を使用して登録しますが、他のユーザーがこのページにリンクしている場合は robots.txt は使用されません）。このページを検索結果からブロックしてもよいかどうかわからないため、警告としました。このページをブロックしたい場合、robots.txt ではインデックス登録を回避できません。 インデックスに登録されないようにするには、「noindex」を使用するか、認証を使ってページへの匿名アクセスを禁止してください。このページをブロックするルールについては、robots.txt テスターをご利用ください。robots.txt のため、このページに対し表示されるスニペットは最適化されない可能性があります。このページをブロックしたくない場合は、ページのブロックを解除するよう robots.txt ファイルを更新してください。」
と警告のメッセージが届きました。

https://www.blogging-life.com/fix-warning-indexed-wp-admin-url/
上記の記事を参考に、
robots.txtを

User-agent: *
Disallow:

に書き換え

wp-admin直下に.htaccessファイルを作成し

Header set X-Robots-Tag "noindex,nofollow"

と記述しました。

しかし、このままではwp-admin/admin-ajax.phpもブロックされてしまいます。
このファイルだけはプラグインなどで使う可能性があり、noindexを外したいと考えています。

wp-admin/admin-ajax.php以外のページのみをnoindexする方法はありますでしょうか。

Comments

[m.ts10806]

院でクス

と届くとは考えがたいので、手打ちではなくコピペしてください。一字でも間違えばそれは意味がありません。エラーメッセージ、コードはそのままコピペが原則です。

[CHERRY]

逆に質問ですが...

admin-ajax.php を なぜ、検索エンジンに index させるのでしょうか？

index させないことで、何か問題が出ているのでしょうか？

ajax で呼ばれるだけで単体でコンテンツを返すわけでもないので、index は必要ないのではないかと思えますが。

[sio_php]

ありがとうございます。質問を編集しました。

indexさせないことで現在は問題出ていませんが、
admin-ajax.phpのクロールはプラグインなどで使う可能性があると見たので、可能であればnoindexを外したいと考えています。

[CHERRY]

noindex の指定は、検索結果に表示されなくなるだけでアクセスは問題なく可能ですが、プラグインが使うからという理由で検索結果に出す必要があるのですか？
wp-admin ディレクトリを隠したいからnoindex 指定しているのだと思っていましたが、ディレクトリの中にある一部のファイルをindex させたら、wp-admin ディレクトリの存在がわかると思うのですが...

[sio_php]

ありがとうございます。
元々のrobots.txtでは
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

という風になっていたので、admin-ajax.phpはnoindexしてはいけないのかなと思っていました。

しかしrobots.txtとnoindexはそもそものやっていることが違うため、
アクセスが問題なく可能ならadmin-ajax.phpはnoindexでも問題がないと思えてきました。

現状このままにしておいて、問題が出たら対応する、という方針でいきたいと思いました。

Answer 1

追記修正依頼に書いた様に必要性は「？」と思っているのですが、技術的には可能なので回答を書いておきます。

特定のファイルだけに適用する場合は、.htaccess の中で、<Files>ディレクティブでファイルを指定します。

例： ファイルが admin-ajax.php に一致する場合に Header set X-Robots-Tag "index,follow"を出力する。

<Files ~ "^admin-ajax.php$">
    Header set X-Robots-Tag "index,follow"
</Files>

詳しくは、<Files> ディレクティブ 参照。

Comments

[sio_php]

わざわざありがとうございます！こちらを試させていただきます。