Scrapy、for文内で指定した複数リンク先から特定の値を取得しCSV出力したい

Question

##■やりたいこと
こちらのデモサイト（http://books.toscrape.com/）の書籍一覧ページと個別詳細ページから、それぞれ情報を抽出して以下のような一つのCSVファイルにまとめて出力しようと試みています。※個別ページ（②）からも書籍タイトルやURLを抽出できますが、ここではそれらを一覧ページ（①）から抽出する前提で考えています。

以下に、記述途中のコードがあります。scrapy.Requestのfor文、yieldの行をコメントアウトすると一覧ページからitemは抽出できる状態ですが、個別詳細ページのdescriptionは抽出できていません。この未完成コードを意図した動作をするように修正する方法をご教示いただきたいです。どうぞ宜しくお願い申し上げます。

#####<CSV出力イメージ、構成>

書籍タイトル(①)	書籍の個別詳細URL(①)	概要(②)
A Light in the Attic	http://books.toscrape.com/catalogue/a-light-in-the-attic_1000/index.html	It's hard to imagine a world without A Light in the Attic. This now-classic collection of poetry and （中略） ...more
Tipping the Velvet	http://books.toscrape.com/catalogue/tipping-the-velvet_999/index.html	"Erotic and absorbing...Written with starling power."（中略） ...more
(リスト項目数分つづく)	(リスト項目数分つづく)	(リスト項目数分つづく)

①一覧ページ（http://books.toscrape.com/）から抽出
②個別ページ（http://books.toscrape.com/catalogue/a-light-in-the-attic_1000/index.html 等）から抽出

#####<一覧ページからの抽出箇所(赤枠)>
http://books.toscrape.com/

#####<個別ページからの抽出箇所(赤枠)>
http://books.toscrape.com/catalogue/a-light-in-the-attic_1000/index.html

##■現状

# -*- coding: utf-8 -*-
#注意: 現状で一部正常に動作しないコードです。
import scrapy
from ..items import BooksItem

class BooksSpider(scrapy.Spider):
    name = "books"
    allowed_domains = ["books.toscrape.com"]
    start_urls = [
        'http://books.toscrape.com/',
    ]
    def parse(self, response):
        list_rows = response.xpath('//*[@id="default"]/div/div/div/div/section/div[2]/ol/li')
        for list_row in list_rows:
            # ↓一覧ページから書籍タイトル、書籍の個別詳細URLを抽出
            item = BooksItem()
            item['book_title'] = list_row.xpath('/article/h3/a/@title').extract_first()
            item['book_url'] = list_row.xpath('article/div[1]/a/@href').extract_first()
            # ↓個別ページから概要を抽出（現状正常に動作せず）          
            for book_url in response.css("article.product_pod > h3 > a ::attr(href)").extract():
                yield scrapy.Request(response.urljoin(book_url), callback=self.parse_book_page) 
            yield item
    
    def parse_book_page(self, response):
        item = BooksItem()
        product = response.css("div.product_main")
        item['description'] = response.xpath("//div[@id='product_description']/following-sibling::p/text()").extract_first()
        yield item

Answer 1

必要な情報をmetaで渡します。
https://docs.scrapy.org/en/latest/topics/request-response.html#scrapy.http.Request.meta

This dict is shallow copied when the request is cloned using the copy() or replace() methods, and can also be accessed, in your spider, from the response.meta attribute.

https://docs.scrapy.org/en/latest/topics/request-response.html#scrapy.http.Response.meta

A shortcut to the Request.meta attribute of the Response.request object (ie. self.request.meta).

---

    def parse(self, response):
        list_rows = response.xpath('//*[@id="default"]/div/div/div/div/section/div[2]/ol/li')
        for list_row in list_rows:
            # ↓一覧ページから書籍タイトル、書籍の個別詳細URLを抽出
            book_title = list_row.xpath('/article/h3/a/@title').extract_first()
            book_url = list_row.xpath('article/div[1]/a/@href').extract_first()
            # ↓個別ページから概要を抽出（現状正常に動作せず）          
            for book_url in response.css("article.product_pod > h3 > a ::attr(href)").extract():
                item = BooksItem()
                item['book_title'] = book_title
                item['book_url'] = book_url
                yield scrapy.Request(response.urljoin(book_url), 
                        callback=self.parse_book_page,
                        meta={'item': item})

    def parse_book_page(self, response):
        # requestでmetaにセットされたitemを取り出す
        item = response.meta['item']
        product = response.css("div.product_main")
        item['description'] = response.xpath("//div[@id='product_description']/following-sibling::p/text()").extract_first()
        yield item

動作の確認まではしませんが。

Comments

[fukazume]

metaでメソッド間で値を渡す方法を存じ上げませんでした。わかりやすいサンプルコードと引用で理解が進みました。以前にもお世話になりましたが今回も大変ありがとうございます！