pythonのscrapyフレームワークを使ってxmlサイトマップからクロールしてページのタイトルを取得しようと試みています。
クロール自体は出来るのですが、下記のエラーが出てタイトルの取得がうまくいきません。
何が悪いのでしょうか?
エラーメッセージ
Traceback (most recent call last):
File "/usr/local/lib/python3.5/dist-packages/twisted/internet/defer.py", line 653, in _runCallbacks
current.result = callback(current.result, *args, **kw)
File "/usr/local/lib/python3.5/dist-packages/scrapy/spiders/init.py", line 76, in parse
raise NotImplementedError
NotImplementedError
python
1gihyo.py 2# -*- coding: utf-8 -*- 3from scrapy.spiders import SitemapSpider 4 5 6class Spider(SitemapSpider): 7 name = "gihyo" 8 allowed_domains = ["gihyo.jp"] 9 sitemap_urls = ['https://gihyo.jp/robots.txt'] 10 11 def parse_post(self, response): 12 # 詳細ページから投稿のタイトルを抜き出す。 13 yield { 14 'title': response.css('title::text').extract_first() 15 } 16
python
1item.py 2# -*- coding: utf-8 -*- 3import scrapy 4 5 6class Headline(scrapy.Item): 7 title = scrapy.Field() 8
環境
OS:ubuntu 16.04
python 3.5.2
scrapy 1.3.3
回答1件
あなたの回答
tips
プレビュー
バッドをするには、ログインかつ
こちらの条件を満たす必要があります。
2017/07/03 11:47