AWS EC2上でScrapyを動作させると必ず403エラーになる

Question

AWS EC2におけるScrapyのエラーで原因がわからず、困惑しております。
もし何かご存じの方がいらっしゃいましたら、ご指摘・アドバイス等お願いいたします。

実現したいこと

• AWS EC2上でScrapyを動作させ、スクレイピングを行いたい

前提

・AWS EC2(Ubuntu)で動作させようと試みている途中
・開発環境（自身のPC, Windows 10, VSCode)では問題なくスクレイピングが動作する
・ソースコード、プロジェクト名等はほぼ同一
（User-Agentの設定以外）

発生している問題・エラーメッセージ

開発環境と同様に「scrapy crawl mercari」というコマンドを実行するものの、403エラーが発生する

(scrapy_venv) ubuntu@ip-172-31-26-90:~/myproject/myproject/spiders$ scrapy crawl mercari
2019-03-31 07:51:10 [scrapy.utils.log] INFO: Scrapy 1.6.0 started (bot: myproject)
2019-03-31 07:51:10 [scrapy.utils.log] INFO: Versions: lxml 4.3.2.0, libxml2 2.9.9, cssselect 1.0.3, parsel 1.5.1, w3lib 1.20.0, Twisted 18.9.0, Python 3.6.7 (default, Oct 22 2018, 11:32:17) - [GCC 8.2.0], pyOpenSSL 19.0.0 (OpenSSL 1.1.1b  26 Feb 2019), cryptography 2.6.1, Platform Linux-4.15.0-1034-aws-x86_64-with-Ubuntu-18.04-bionic
2019-03-31 07:51:10 [scrapy.crawler] INFO: Overridden settings: {'BOT_NAME': 'myproject', 'DOWNLOAD_DELAY': 1, 'FEED_EXPORT_ENCODING': 'utf-8', 'NEWSPIDER_MODULE': 'myproject.spiders', 'ROBOTSTXT_OBEY': True, 'SPIDER_MODULES': ['myproject.spiders'], 'USER_AGENT': 'Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:47.0) Gecko/20100101 Firefox/47.0'}
2019-03-31 07:51:10 [scrapy.extensions.telnet] INFO: Telnet Password: ***************
2019-03-31 07:51:10 [scrapy.middleware] INFO: Enabled extensions:
['scrapy.extensions.corestats.CoreStats',
 'scrapy.extensions.telnet.TelnetConsole',
 'scrapy.extensions.memusage.MemoryUsage',
 'scrapy.extensions.logstats.LogStats']
2019-03-31 07:51:10 [scrapy.middleware] INFO: Enabled downloader middlewares:
['scrapy.downloadermiddlewares.robotstxt.RobotsTxtMiddleware',
 'scrapy.downloadermiddlewares.httpauth.HttpAuthMiddleware',
 'scrapy.downloadermiddlewares.downloadtimeout.DownloadTimeoutMiddleware',
 'scrapy.downloadermiddlewares.defaultheaders.DefaultHeadersMiddleware',
 'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware',
 'scrapy.downloadermiddlewares.retry.RetryMiddleware',
 'scrapy.downloadermiddlewares.redirect.MetaRefreshMiddleware',
 'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware',
 'scrapy.downloadermiddlewares.redirect.RedirectMiddleware',
 'scrapy.downloadermiddlewares.cookies.CookiesMiddleware',
 'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware',
 'scrapy.downloadermiddlewares.stats.DownloaderStats']
2019-03-31 07:51:10 [scrapy.middleware] INFO: Enabled spider middlewares:
['scrapy.spidermiddlewares.httperror.HttpErrorMiddleware',
 'scrapy.spidermiddlewares.offsite.OffsiteMiddleware',
 'scrapy.spidermiddlewares.referer.RefererMiddleware',
 'scrapy.spidermiddlewares.urllength.UrlLengthMiddleware',
 'scrapy.spidermiddlewares.depth.DepthMiddleware']
2019-03-31 07:51:10 [py.warnings] WARNING: /home/ubuntu/scrapy_venv/lib/python3.6/site-packages/psycopg2/__init__.py:144: UserWarning: The psycopg2 wheel package will be renamed from release 2.8; in order to keep installing from binary please use "pip install psycopg2-binary" instead. For details see: <http://initd.org/psycopg/docs/install.html#binary-install-from-pypi>.
  """)

2019-03-31 07:51:10 [scrapy.middleware] INFO: Enabled item pipelines:
['myproject.pipelines.PostgresPipeline']
2019-03-31 07:51:10 [scrapy.core.engine] INFO: Spider opened
2019-03-31 07:51:10 [scrapy.extensions.logstats] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min)
2019-03-31 07:51:10 [scrapy.extensions.telnet] INFO: Telnet console listening on 127.0.0.1:6023
2019-03-31 07:51:11 [scrapy.core.engine] DEBUG: Crawled (403) <GET https://www.mercari.com/robots.txt> (referer: None)
2019-03-31 07:51:12 [scrapy.core.engine] DEBUG: Crawled (403) <GET https://www.mercari.com/jp/search/?page=1&keyword=%E3%82%82%E3%81%97%E9%AB%98%E6%A0%A1%E9%87%8E%E7%90%83%E3%81%AE%E5%A5%B3%E5%AD%90%E3%83%9E%E3%83%8D%E3%83%BC%E3%82%B8%E3%83%A3%E3%83%BC%E3%81%8C%E3%83%89%E3%83%A9%E3%83%83%E3%82%AB%E3%83%BC%E3%81%AE%E3%80%8E%E3%83%9E%E3%83%8D%E3%82%B8%E3%83%A1%E3%83%B3%E3%83%88%E3%80%8F%E3%82%92%E8%AA%AD%E3%82%93%E3%81%A0%E3%82%89> (referer: None)
2019-03-31 07:51:12 [scrapy.spidermiddlewares.httperror] INFO: Ignoring response <403 https://www.mercari.com/jp/search/?page=1&keyword=%E3%82%82%E3%81%97%E9%AB%98%E6%A0%A1%E9%87%8E%E7%90%83%E3%81%AE%E5%A5%B3%E5%AD%90%E3%83%9E%E3%83%8D%E3%83%BC%E3%82%B8%E3%83%A3%E3%83%BC%E3%81%8C%E3%83%89%E3%83%A9%E3%83%83%E3%82%AB%E3%83%BC%E3%81%AE%E3%80%8E%E3%83%9E%E3%83%8D%E3%82%B8%E3%83%A1%E3%83%B3%E3%83%88%E3%80%8F%E3%82%92%E8%AA%AD%E3%82%93%E3%81%A0%E3%82%89>: HTTP status code is not handled or not allowed
2019-03-31 07:51:13 [scrapy.core.engine] DEBUG: Crawled (403) <GET https://www.mercari.com/jp/search/?page=2&keyword=%E3%82%82%E3%81%97%E9%AB%98%E6%A0%A1%E9%87%8E%E7%90%83%E3%81%AE%E5%A5%B3%E5%AD%90%E3%83%9E%E3%83%8D%E3%83%BC%E3%82%B8%E3%83%A3%E3%83%BC%E3%81%8C%E3%83%89%E3%83%A9%E3%83%83%E3%82%AB%E3%83%BC%E3%81%AE%E3%80%8E%E3%83%9E%E3%83%8D%E3%82%B8%E3%83%A1%E3%83%B3%E3%83%88%E3%80%8F%E3%82%92%E8%AA%AD%E3%82%93%E3%81%A0%E3%82%89> (referer: None)
2019-03-31 07:51:13 [scrapy.spidermiddlewares.httperror] INFO: Ignoring response <403 https://www.mercari.com/jp/search/?page=2&keyword=%E3%82%82%E3%81%97%E9%AB%98%E6%A0%A1%E9%87%8E%E7%90%83%E3%81%AE%E5%A5%B3%E5%AD%90%E3%83%9E%E3%83%8D%E3%83%BC%E3%82%B8%E3%83%A3%E3%83%BC%E3%81%8C%E3%83%89%E3%83%A9%E3%83%83%E3%82%AB%E3%83%BC%E3%81%AE%E3%80%8E%E3%83%9E%E3%83%8D%E3%82%B8%E3%83%A1%E3%83%B3%E3%83%88%E3%80%8F%E3%82%92%E8%AA%AD%E3%82%93%E3%81%A0%E3%82%89>: HTTP status code is not handled or not allowed

試したこと

• Scrapyで発生する403エラーは一般的にどう対処されているかを調査

→User-agentを設定しないと接続先から遮断されるという情報が多かったため、settings.pyでUser-agentを設定
→結果変わらず（設定してもしなくても結果は同じ）

# Crawl responsibly by identifying yourself (and your website) on the user-agent
USER_AGENT = "Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:47.0) Gecko/20100101 Firefox/47.0"

• Port設定は問題ないか

→Scrapyの待ち受けポートである6023を開放
念のためUbuntuを再起動したものの変化なし（同じエラー）

• 起動時のログに差異はないか

→AWSでのログと比較すると、ライブラリのバージョン違いがいくつかあるものの大きな差異は認められない

補足情報（FW/ツールのバージョンなど）

開発環境における実行時ログ

(scraping) C:\Users\nannd\myproject\myproject\spiders>scrapy crawl mercari
2019-03-31 07:56:37 [scrapy.utils.log] INFO: Scrapy 1.5.1 started (bot: myproject)
2019-03-31 07:56:37 [scrapy.utils.log] INFO: Versions: lxml 4.2.5.0, libxml2 2.9.5, cssselect 1.0.3, parsel 1.5.1, w3lib 1.19.0, Twisted 18.9.0, Python 3.6.5 |Anaconda, Inc.| (default, Mar 29 2018, 13:32:41) [MSC v.1900 64 bit (AMD64)], pyOpenSSL 18.0.0 (OpenSSL 1.1.0j  20 Nov 2018), cryptography 2.4.2, Platform Windows-10-10.0.17134-SP0
2019-03-31 07:56:37 [scrapy.crawler] INFO: Overridden settings: {'BOT_NAME': 'myproject', 'DOWNLOAD_DELAY': 1, 'FEED_EXPORT_ENCODING': 'utf-8', 'NEWSPIDER_MODULE': 'myproject.spiders', 'ROBOTSTXT_OBEY': True, 'SPIDER_MODULES': ['myproject.spiders']}
2019-03-31 07:56:37 [scrapy.middleware] INFO: Enabled extensions:
['scrapy.extensions.corestats.CoreStats',
 'scrapy.extensions.telnet.TelnetConsole',
 'scrapy.extensions.logstats.LogStats']
2019-03-31 07:56:37 [scrapy.middleware] INFO: Enabled downloader middlewares:
['scrapy.downloadermiddlewares.robotstxt.RobotsTxtMiddleware',
 'scrapy.downloadermiddlewares.httpauth.HttpAuthMiddleware',
 'scrapy.downloadermiddlewares.downloadtimeout.DownloadTimeoutMiddleware',
 'scrapy.downloadermiddlewares.defaultheaders.DefaultHeadersMiddleware',
 'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware',
 'scrapy.downloadermiddlewares.retry.RetryMiddleware',
 'scrapy.downloadermiddlewares.redirect.MetaRefreshMiddleware',
 'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware',
 'scrapy.downloadermiddlewares.redirect.RedirectMiddleware',
 'scrapy.downloadermiddlewares.cookies.CookiesMiddleware',
 'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware',
 'scrapy.downloadermiddlewares.stats.DownloaderStats']
2019-03-31 07:56:37 [scrapy.middleware] INFO: Enabled spider middlewares:
['scrapy.spidermiddlewares.httperror.HttpErrorMiddleware',
 'scrapy.spidermiddlewares.offsite.OffsiteMiddleware',
 'scrapy.spidermiddlewares.referer.RefererMiddleware',
 'scrapy.spidermiddlewares.urllength.UrlLengthMiddleware',
 'scrapy.spidermiddlewares.depth.DepthMiddleware']
2019-03-31 07:56:38 [scrapy.middleware] INFO: Enabled item pipelines:
['myproject.pipelines.PostgresPipeline']
2019-03-31 07:56:38 [scrapy.core.engine] INFO: Spider opened
2019-03-31 07:56:38 [scrapy.extensions.logstats] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min)
2019-03-31 07:56:38 [scrapy.extensions.telnet] DEBUG: Telnet console listening on 127.0.0.1:6023
2019-03-31 07:56:38 [scrapy.core.engine] DEBUG: Crawled (200) <GET https://www.mercari.com/robots.txt> (referer: None)

Answer 1

メルカリのサーバ側で、AWSからのアクセスを拒否していると思われます。AWSを使う限り、解決法はないでしょう。

Comments

[mtomto]

早速回答くださりありがとうございました。
そういうことでしたか...　ローカルで動作させるようにします。