robots.txtの「Disallow: /search/site/」が禁止している内容

Question

スクレイピングに際し、下記のrobots.txtを読みましたが禁止している内容がわかりませんでした。

日本経済新聞のrobots.txt
http://www.nikkei.com/robots.txt

記載内容
User-agent: *
Disallow: /search/site/

下記から始まるURLがスクレイピング禁止になるという理解ですが、該当するページが見つかりません。
http://www.nikkei.com/search/site/

スクレイピングの前に、念のため禁止されているページを確認したいと考えています。
robots.txtから具体的に禁止されているページの一例を知る方法はありますでしょうか？
よろしくお願いいたします。

Answer 1

https://support.google.com/webmasters/answer/6062596?hl=ja

クロールをブロックするディレクトリやページを記入するので、
/search/site/の中に、ファイルが存在した場合もブロック対象になります。
実際にこのディレクトリ中にファイルがあるかはわからないですし、
あったとしてもページが表示されないよう制限をかけている可能性もあります。

Comments

[kerokero9]

禁止されているページを知ることが出来ない場合もあるということですね。よくわかりました。