X-Robots-Tagで特定ディレクトリを指定する

Question

特定ディレクトリのhtmlページについて、
robots.txtでのクロール除外や、headタグへのnoindex追加が出来ないため、
X-Robots-Tagでnoindexを書き出したいと考えています。

試行錯誤で試してみたものの、X-Robots-Tagが書き出されません。

例）/AAA/を含むディレクトリを対象とする場合に書いてみたもの
<Files ~ "/AAA/">
Header set X-Robots-Tag "noindex"
</Files>

1.そもそもX-Robots-Tagでディレクトリを指定して除外することが出来るのか、
2.その場合の記述方法
について教えていただけますと幸いです。

Answer 1

<Files> ディレクティブ のマニュアルに

このセクション中のディレクティブは、ベース名 (ファイル名の最後の部分) が指定されたファイル名にマッチするすべてのオブジェクトに適用されます。

と記載されている通り、Files ディレクティブは、ファイル名のみにマッチし、ディレクトリに対しては、マッチしません。一致しなかった場合は、Files ディレクティブに設定した内容は無視されます。

なお、下記のようにファイル名を対象に設定して

<Files ~ "index.html">
    Header set X-Robots-Tag "noindex"
</Files>

アクセスしてみると　下記のように　HTTPヘッダは、正しく追加されます。

$ curl --dump-header - http://example.com/test-index.html

HTTP/1.1 200 OK
Date: Tue, 16 Jan 2018 00:35:24 GMT
Server: Apache/2.4.6 (CentOS) OpenSSL/1.0.2k-fips PHP/7.2.1
X-Powered-By: PHP/7.2.1
X-Robots-Tag: noindex
Content-Length: 2332
Content-Type: text/html; charset=UTF-8

---

どうしてもディレクトリに対してマッチさせたい場合は、htttpd.conf の中で、Directory か Location ディレクティブを使って設定する必要があります。(.htaccess では、設定できません。)

例: httpd.conf の中で、

<Directory ~ "/Test/">
    Header set X-Robots-Tag "noindex"
</Directory>

と設定すれば、下記のように設定されました。

$ curl --dump-header - http://example.com/Test/files.html

HTTP/1.1 200 OK
Date: Tue, 16 Jan 2018 00:37:41 GMT
Server: Apache/2.4.6 (CentOS) OpenSSL/1.0.2k-fips PHP/7.2.1
X-Powered-By: PHP/7.2.1
X-Robots-Tag: noindex
Content-Length: 1536
Content-Type: text/html; charset=UTF-8