特定文字列を含むURLをnoindexにできない

Question

事象

特定文字列example1、example2を含むURLをnoindexにするように
下記のように設定しましたが全ページがnoindexになってしまう。

設定

【設定ファイル】：
/etc/httpd/conf.d/noindex.conf
【設定内容】：
RewriteEngine on
Header set X-Robots-Tag "noindex"
RewriteCond %{QUERY_STRING} example1
RewriteCond %{QUERY_STRING} example2
RewriteRule .* ? [env=NOINDEX_HEADER:1]

確認したこと

Header set X-Robots-Tag "noindex"を設定すると全ページへ適用される

環境

OS:CentOS6.7
Apache:2.2.1

Comments

[Y.H.]

タグにapacheを追加してください。

[pond]

追加いたしました。

Answer 1

特定文字列example1、example2を含むURLをnoindexにするように

AND条件でいいんですよね？

全ページがnoindexになってしまう。

無条件にHeader setしているだけなのでそうなります。
まずRewrite moduleで条件により環境変数NOINDEX_HEADERをセットし、
NOINDEX_HEADERが設定されている場合のみHeader setすればいいです。

※以下では.htaccessで確認してますがconfでの定義でも同じです。

RewriteEngine on
RewriteCond %{QUERY_STRING} example1
RewriteCond %{QUERY_STRING} example2
RewriteRule .* - [env=NOINDEX_HEADER:1]
Header set X-Robots-Tag "noindex" env=NOINDEX_HEADER

$ cat .htaccess
RewriteEngine on
RewriteCond %{QUERY_STRING} example1
RewriteCond %{QUERY_STRING} example2
RewriteRule .* - [env=NOINDEX_HEADER:1]
Header set X-Robots-Tag "noindex" env=NOINDEX_HEADER
$ curl -s -I 'http://localhost/test.php?example1&example2'
HTTP/1.1 200 OK
Date: Mon, 16 Mar 2020 04:58:13 GMT
Server: Apache/2.4.29 (Ubuntu)
X-Robots-Tag: noindex
Content-Type: text/html; charset=UTF-8
$ curl -s -I 'http://localhost/test.php?example1&example'
HTTP/1.1 200 OK
Date: Mon, 16 Mar 2020 04:58:17 GMT
Server: Apache/2.4.29 (Ubuntu)
Content-Type: text/html; charset=UTF-8

Comments

[pond]

ご回答ありがとうございます。

> AND条件でいいんですよね？
失礼いたしました、OR条件になります。

>無条件にHeader setしているだけなのでそうなります。
理解しました。

[Y.H.]

> 失礼いたしました、OR条件になります。
であれば以下のように[OR]を追加でOKです。
RewriteCond %{QUERY_STRING} example1 [OR]
RewriteCond %{QUERY_STRING} example2

[pond]

すみません。複数のクエリがあり以下のように設定し、chrome開発者モード
で確認したところx-robots-tagが出力されませんでした。

RewriteEngine on
RewriteCond %{QUERY_STRING} example1 [OR]
RewriteCond %{QUERY_STRING} example2 [OR]
RewriteCond %{QUERY_STRING} example3 [OR]
RewriteCond %{QUERY_STRING} example4 [OR]
RewriteCond %{QUERY_STRING} example5 [OR]
RewriteCond %{QUERY_STRING} example6 [OR]
RewriteCond %{QUERY_STRING} example7
RewriteRule .* - [env=NOINDEX_HEADER:1]
Header set X-Robots-Tag "noindex" env=NOINDEX_HEADER

[pond]

apache再起動してます。

[Y.H.]

どの様なurlにアクセスしました？例を示してください。
http://example.com/foo?example1
http://example.com/foo?example2
http://example.com/foo?example3
http://example.com/foo?example4
http://example.com/foo?example5
http://example.com/foo?example6
http://example.com/foo?example7
でレスポンスヘッダーにX-Robots-Tag: noindex付きませんか？

[Y.H.]

あーあと確認時はブラウザのキャッシュは都度クリアしてますよね？(chrome開発者モードならキャッシュ無効)

[pond]

以下のページへアクセスしました。
PC/SP
https://example.com/report_tag/?example1&pageID=168&site=test
PC/SP
https://example.com/report_tag/?example2&pageID=278&site=test
PC/SP
https://example.com/report_list/?examle3=1&tag_id=54&site=test
SP
https://example.com/?example4=0&site=test
PC
https://example.com/report/detail/id=51740&example5=2?site=test

[Y.H.]

今回追加したRewrite群より前に別のRewriteがありませんか？
RewriteRuleで ENDとかLとか指定したものとか。。。

また、例示用にはexample.comとかexample.jpとか例示用のものに修正ください。
test.comは実在するドメインです。（悪意のある内容であったまたは変更された場合、pondさんの投稿がそのサイトへ誘導してしまいます。）

[pond]

>今回追加したRewrite群より前に別のRewriteがありませんか？
>RewriteRuleで ENDとかLとか指定したものとか。。。
無いです。

>また、例示用にはexample.comとかexample.jpとか例示用のものに修正ください。
>test.comは実在するドメインです。
大変失礼しました、修正いたしました。

[Y.H.]

noindex.confだけじゃないですよ？
noindex.confが読まれる前に他のconfでRewriteされてませんか？
pc/spやhttp/httpsリダイレクトとかどこかにRewriteが入ってそうなんですが・・・

こちらでは以下問題なくX-Robots-Tag: noindex返ってますねぇ。
Rewriteされるのはこの.htaccessのみ。
$ cat .htaccess
RewriteEngine on
RewriteCond %{QUERY_STRING} example1 [OR]
RewriteCond %{QUERY_STRING} example2 [OR]
RewriteCond %{QUERY_STRING} example3 [OR]
RewriteCond %{QUERY_STRING} example4 [OR]
RewriteCond %{QUERY_STRING} example5 [OR]
RewriteCond %{QUERY_STRING} example6 [OR]
RewriteCond %{QUERY_STRING} example7
RewriteRule .* - [env=NOINDEX_HEADER:1]
Header set X-Robots-Tag "noindex" env=NOINDEX_HEADER
$ sudo curl -s -I 'http://localhost/report_tag/?example1&pageID=168&site=test'
HTTP/1.1 200 OK
Date: Mon, 16 Mar 2020 08:02:00 GMT
Server: Apache/2.4.29 (Ubuntu)
X-Robots-Tag: noindex
Content-Type: text/html; charset=UTF-8
$ sudo curl -s -I 'http://localhost/report_tag/?example2&pageID=278&site=test'
HTTP/1.1 200 OK
Date: Mon, 16 Mar 2020 08:02:01 GMT
Server: Apache/2.4.29 (Ubuntu)
X-Robots-Tag: noindex
Content-Type: text/html; charset=UTF-8
$ sudo curl -s -I 'http://localhost/report_list/?example3=1&tag_id=54&site=test'
HTTP/1.1 200 OK
Date: Mon, 16 Mar 2020 08:02:02 GMT
Server: Apache/2.4.29 (Ubuntu)
X-Robots-Tag: noindex
Content-Type: text/html; charset=UTF-8
$ sudo curl -s -I 'http://localhost/?example4=0&site=test'
HTTP/1.1 200 OK
Date: Mon, 16 Mar 2020 08:02:03 GMT
Server: Apache/2.4.29 (Ubuntu)
Last-Modified: Mon, 02 Dec 2019 04:42:40 GMT
ETag: "12-598b135a45b04"
Accept-Ranges: bytes
Content-Length: 18
X-Robots-Tag: noindex
Content-Type: text/html
$ sudo curl -s -I 'http://localhost/report/detail/?id=51740&example5=2?site=test'
HTTP/1.1 200 OK
Date: Mon, 16 Mar 2020 08:02:04 GMT
Server: Apache/2.4.29 (Ubuntu)
X-Robots-Tag: noindex
Content-Type: text/html; charset=UTF-8

[pond]

> noindex.confが読まれる前に他のconfでRewriteされてませんか？
他設定ファイルにありました。

[pond]

<VirtualHost>タグ中に記載されてます。

[Y.H.]

それらより前にnoindex.confに記載しているrewriteが処理されるようにするしかないですね。

[pond]

お待たせいたしました、ありがとうございます。
特定ページにnoindexをつけることができました。

追加で大変申し訳ございません。下記2パターンのURLに対して設定したのですが
文字列にマッチしませんでした、id=の後は指定の方法が変わるんでしょうか？

① https://example.com/test/test2/id=12345&abc;def=1?site=test
abc;def=1をクエリ文字列に含む場合noindexにする
↓設定
RewiteCond %{QUERY_STRING} (^|&)abc;def=1($|&) [OR]

② https://example.com/test/test2/id=12345&abcdef=2?site=test
abcdef=2をクエリ文字列に含む場合noindexにする
↓設定
RewiteCond %{QUERY_STRING} (^|&)abcdef=2($|&) [OR]

[Y.H.]

URLとしてのQueryStringは?以降です。
よって%{QUERY_STRING}には
"site=test"が入っているのでマッチしないのでは？

[pond]

ありがとうございます。以下の設定で解決しました。

RewiteCond %{REQUEST_URI} (^|&)abc;def=1($|&) [OR]
RewiteCond %{REQUEST_URI} (^|&)abcdef=2($|&) [OR]