概要
シェル等ではなく Python コード内でスクレイピングしたデータが欲しいです.
scrapy shell http://foo.com
とすると,シェル内であれば response
が返ってくるらしいのですが,これをコード内で実現したいです.
実現イメージ
python
1url = 'http://foo.com' 2responce = Response(url) 3myitem = MySpider().parse(response) 4 5return myitem
既に試したこと
下記のようなコードは試したのですがうまくいきません.
この理由として, Response
インスタンスに対して url を設定しただけで,実際にダウンロードしたわけではないからだと思われます.
MySpider().parse(Response(url))
このため,おそらくですが Request
オブジェクトから,ダウンロードした後 Response
を返す必要があると思っています.
どうぞ回答よろしくお願い致します.
環境
Python 3.6.6
Scrapy 1.5.1
回答1件
あなたの回答
tips
プレビュー
バッドをするには、ログインかつ
こちらの条件を満たす必要があります。
2018/11/18 16:03