クローラーは、Webサイトを巡回して情報を取得する「クローラー」です。robots.txt対応などに関する投稿です。