robots.txtの読み取り方

Question

ご覧いただき、ありがとうございます！
価格コムのスクレイピングを検討しているのですが、
robots.txtを確認すると下記ように記載があります。
Disallow: /item/*/localshops/

これはつまり、/item/* のページは拒否されていないという認識で良いでしょうか。
具体的には下記のように解釈しています。

×　https://kakaku.com/item/K0001251072/localshops/
〇　https://kakaku.com/item/K0001251072/

恐れ入りますが、ご存知の方お知恵を拝借いただけますと幸いです。

よろしくお願いいたします。

Comments

[m.ts10806]

なぜrobots.txtに着目したのか不明なのと、
そもそもスクレイピングして本当に問題ない先なのかという疑問と。

Answer 1

そもそも、robots.txt はスクレイピングの可否を記述するもんじゃありません

Answer 2

robots.txtはクローラのインデックスの可否を決めるものですので
スクレイピングについてはカカクコムの規約を参照したほうが良いかと思います