PythonのWebスクレイピングフレームワークであるscrapyでの疑問です。

Question

scrapy shell でURLを指定するとき、URLに日本語などが混ざっていた場合やURLによって起動しません。、正常に起動しないのですが、理由はなんなのでしょうか。

例として紀伊国屋書店の在庫の情報をクローラーで自動で収集しようと考えたのですが、
https://www.kinokuniya.co.jp/disp/CKnSfStockSearchStockView.jsp?CAT=01&GOODS_STK_NO=9784041052068&MAN_ENTR_CD1=FA

このようなURLの場合正常に起動しません。

 scrapy shell https://www.kinokuniya.co.jp/disp/CKnSfStockSearchStockView.jsp?CAT=01&GOODS_STK_NO=9784041052068&MAN_ENTR_CD1=FA
[2] 9412
[3] 9413
maname@myname-To-be-filled-by-O-E-M:~$ 2018-03-16 23:37:23 [scrapy.utils.log] INFO: Scrapy 1.5.0 started (bot: scrapybot)
2018-03-16 23:37:23 [scrapy.utils.log] INFO: Versions: lxml 3.5.0.0, libxml2 2.9.3, cssselect 1.0.1, parsel 1.3.1, w3lib 1.18.0, Twisted 17.9.0, Python 3.5.2 (default, Nov 23 2017, 16:37:01) - [GCC 5.4.0 20160609], pyOpenSSL 17.5.0 (OpenSSL 1.1.0g  2 Nov 2017), cryptography 2.1.4, Platform Linux-4.4.0-116-generic-x86_64-with-Ubuntu-16.04-xenial
2018-03-16 23:37:23 [scrapy.crawler] INFO: Overridden settings: {'DUPEFILTER_CLASS': 'scrapy.dupefilters.BaseDupeFilter', 'LOGSTATS_INTERVAL': 0}
2018-03-16 23:37:23 [scrapy.middleware] INFO: Enabled extensions:
['scrapy.extensions.telnet.TelnetConsole',
 'scrapy.extensions.memusage.MemoryUsage',
 'scrapy.extensions.corestats.CoreStats']
2018-03-16 23:37:23 [scrapy.middleware] INFO: Enabled downloader middlewares:
['scrapy.downloadermiddlewares.httpauth.HttpAuthMiddleware',
 'scrapy.downloadermiddlewares.downloadtimeout.DownloadTimeoutMiddleware',
 'scrapy.downloadermiddlewares.defaultheaders.DefaultHeadersMiddleware',
 'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware',
 'scrapy.downloadermiddlewares.retry.RetryMiddleware',
 'scrapy.downloadermiddlewares.redirect.MetaRefreshMiddleware',
 'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware',
 'scrapy.downloadermiddlewares.redirect.RedirectMiddleware',
 'scrapy.downloadermiddlewares.cookies.CookiesMiddleware',
 'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware',
 'scrapy.downloadermiddlewares.stats.DownloaderStats']
2018-03-16 23:37:23 [scrapy.middleware] INFO: Enabled spider middlewares:
['scrapy.spidermiddlewares.httperror.HttpErrorMiddleware',
 'scrapy.spidermiddlewares.offsite.OffsiteMiddleware',
 'scrapy.spidermiddlewares.referer.RefererMiddleware',
 'scrapy.spidermiddlewares.urllength.UrlLengthMiddleware',
 'scrapy.spidermiddlewares.depth.DepthMiddleware']
2018-03-16 23:37:23 [scrapy.middleware] INFO: Enabled item pipelines:
[]
2018-03-16 23:37:23 [scrapy.extensions.telnet] DEBUG: Telnet console listening on 127.0.0.1:6025
2018-03-16 23:37:23 [scrapy.core.engine] INFO: Spider opened
2018-03-16 23:37:23 [scrapy.core.engine] DEBUG: Crawled (404) <GET https://www.kinokuniya.co.jp/disp/CKnSfStockSearchStockView.jsp?CAT=01> (referer: None)
[s] Available Scrapy objects:
[s]   scrapy     scrapy module (contains scrapy.Request, scrapy.Selector, etc)
[s]   crawler    <scrapy.crawler.Crawler object at 0x7fd8d08b80b8>
[s]   item       {}
[s]   request    <GET https://www.kinokuniya.co.jp/disp/CKnSfStockSearchStockView.jsp?CAT=01>
[s]   response   <404 https://www.kinokuniya.co.jp/disp/CKnSfStockSearchStockView.jsp?CAT=01>
[s]   settings   <scrapy.settings.Settings object at 0x7fd8cf3efcc0>
[s]   spider     <DefaultSpider 'default' at 0x7fd8ceff9630>
[s] Useful shortcuts:
[s]   fetch(url[, redirect=True]) Fetch URL and update local objects (by default, redirects are followed)
[s]   fetch(req)                  Fetch a scrapy.Request and update local objects 
[s]   shelp()           Shell help (print this help)
[s]   view(response)    View response in a browser
^C

[2]+  停止                  scrapy shell https://www.kinokuniya.co.jp/disp/CKnSfStockSearchStockView.jsp?CAT=01
[3]   終了                  GOODS_STK_NO=9784041052068

原因を教えていただければ幸いです。

Answer 1

■ログの読み方
1,リクエスト

scrapy shell https://www.kinokuniya.co.jp/disp/CKnSfStockSearchStockView.jsp?CAT=01&GOODS_STK_NO=9784041052068&MAN_ENTR_CD1=FA

2,レスポンス

[s]   request    <GET https://www.kinokuniya.co.jp/disp/CKnSfStockSearchStockView.jsp?CAT=01>
[s]   response   <404 https://www.kinokuniya.co.jp/disp/CKnSfStockSearchStockView.jsp?CAT=01>

ログの1と2を比較するとリクエストURLが&以降が無視されURLが変わっています。
responseの数字:404はHTTP ステータスコードでリクエスト対象が存在しないことを表しています。

■理由
&記号は特殊な意味をもつ事が多い記号です。

リクエストURLを""で囲って実行してみてくださいな。

scrapy shell "https://www.kinokuniya.co.jp/disp/CKnSfStockSearchStockView.jsp?CAT=01&GOODS_STK_NO=9784041052068&MAN_ENTR_CD1=FA"

Comments

[RarigoB]

単純なことすぎて自分で笑ってしまいました。
解答ありがとうございます。