前提・実現したいこと
スクレイピングで目的のものが取得できないです。
{'title': '厚焼き卵の作り方'} {'title': '白Tについて'} {'title': 'ポニーテール'}
という風にタイトルを取得したいです。
発生している問題・エラーメッセージ
{'title': None}
と出て取得したいものが取得できない。
該当のソースコード
import scrapy class BlogSpider(scrapy.Spider): name = 'blogspider' start_urls = ['https://www.yahoo.co.jp/'] def parse(self, response): for title in response.css('p.list-title'): yield {'title': title.css('a ::text').extract_first()}
というコードで記事のタイトルを取得したいです。
htmlのページの構造は、
<span class="overflow-hidden"><span class="list-category">グルメ</span><p class="list-title">厚焼き卵の作り方</p></span><span class="overflow-hidden"><span class="list-category">ファッション</span><p class="list-title">白Tについて</p></span><span class="overflow-hidden"><span class="list-category">ヘアスタイル</span><p class="list-title">ポニーテール</p></span>
という風になっています。
バッドをするには、ログインかつ
こちらの条件を満たす必要があります。