前提・実現したいこと
pythonでスクレイピングの勉強をしていますが、
scrapy shell においてresponse.css()が抽出できません。
個人的にはそもそもscrapy shell urlの時点で、
[s]responseが出てこないことかと思うのですが、
原因が分かる方いらっしゃいますでしょうか。
発生している問題・エラーメッセージ
title = response.css('title') Traceback (most recent call last): File "<console>", line 1, in <module> AttributeError: 'NoneType' object has no attribute 'css'
該当のソースコード
python
12020-04-05 07:36:40 [scrapy.core.engine] DEBUG: Crawled (200) <GET https://brickset.com/robots.txt> (referer: None) ['cached'] 22020-04-05 07:36:40 [scrapy.downloadermiddlewares.robotstxt] DEBUG: Forbidden by robots.txt: <GET https://brickset.com/sets/year-2016> 3[s] Available Scrapy objects: 4[s] scrapy scrapy module (contains scrapy.Request, scrapy.Selector, etc) 5[s] crawler <scrapy.crawler.Crawler object at 0x10e8dce48> 6[s] item {} 7[s] request <GET https://brickset.com/sets/year-2016> 8[s] settings <scrapy.settings.Settings object at 0x10eb61da0> 9[s] Useful shortcuts: 10[s] fetch(url[, redirect=True]) Fetch URL and update local objects (by default, redirects are followed) 11[s] fetch(req) Fetch a scrapy.Request and update local objects 12[s] shelp() Shell help (print this help) 13[s] view(response) View response in a browser 14>>> title = response.css('title') 15Traceback (most recent call last): 16 File "<console>", line 1, in <module> 17AttributeError: 'NoneType' object has no attribute 'css' 18
試したこと
色々と調べてみましたがこの問題についての情報がなかなか見当たりませんでした。
補足情報(FW/ツールのバージョンなど)
ここにより詳細な情報を記載してください。
回答1件
あなたの回答
tips
プレビュー
バッドをするには、ログインかつ
こちらの条件を満たす必要があります。
2020/04/05 21:16