（Scrapy）ブラウザではアクセスできるURLでの404エラーについて

Question

*事象
Scrapyでクローリングを行う際、ブラウザではアクセスできるURLを設定しているが、crawlを実行すると404エラーとなってしまいます。
対象サイト:
https://www.hor.jp/shop/default.aspx

*環境
Scrapy 1.6.0
Python3.7.0

*試したこと
何か解決策がないかと検索し、下記2つ実施しました。
・setting.pyに「HTTPERROR_ALLOWED_CODES =[404]」を追加しエラーハンドリング
・setting.pyに```USER_AGENT = "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/34.0.1847.131 Safari/537.36"

[（参照サイト）](https://stackoverflow.com/questions/48030717/scrapy-404-error-http-status-code-is-not-handled-or-not-allowed)

解決できませんでした。

wgetでも404エラーが返ってきました。

Answer 1

なんらかのクローリング対策やスクレイピング対策が行われているのでしょう。

(google)クローリング対策
(google)スクレイピング対策

本気でやるなら考えられる対策ごとに地道に試しながら潰していくしかないでしょうね。