Scrapy、抽出したリンク先の特定HTML要素を隣の列に配置してCSV出力したい

Question

##■やりたいこと
こちらのデモサイト(http://books.toscrape.com/)で列挙されている書籍リスト項目から
①書籍単品のURL/aタグhref属性（図1赤枠）
②そのリンク先のh1タグ文字列（図2赤枠）

を取得し、以下レイアウトのCSVファイルとして出力したいです。サンプルコードをご教示いただけると誠にありがたく存じます。

#####<CSV出力時の理想レイアウト>

書籍URL(図1)	書籍URLリンク先のh1タグ文字列(図2)
http://books.toscrape.com/catalogue/a-light-in-the-attic_1000/index.html	A Light in the Attic
http://books.toscrape.com/catalogue/tipping-the-velvet_999/index.html	Tipping the Velvet
(ページ内の書籍リスト分続く)	(ページ内の書籍リスト分続く)

#####<図1>

#####<図2>

##■現状
下の記述サンプルなどのitemやscrapy.Request周辺を編集したりして各項目を個別に取得できたりまではするのですが、以下失敗イメージのように行列を揃えての出力ができていません。for文やyieldによる出力の流れ/制御の理解も足りていないんだと想像しています。

どうぞよろしくお願い申し上げます。

######<失敗イメージ>

書籍URL(図1)	書籍URLリンク先のh1タグ文字列(図2)
http://books.toscrape.com/catalogue/a-light-in-the-attic_1000/index.html	,
http://books.toscrape.com/catalogue/tipping-the-velvet_999/index.html	,
,	A Light in the Attic
,	Tipping the Velvet

#####<記述サンプル>

# -*- coding: utf-8 -*-
import scrapy


class BooksSpider(scrapy.Spider):
    name = "books"
    allowed_domains = ["books.toscrape.com"]
    start_urls = [
        'http://books.toscrape.com/',
    ]

    def parse(self, response):
        for book_url in response.css("article.product_pod > h3 > a ::attr(href)").extract():
            yield scrapy.Request(response.urljoin(book_url), callback=self.parse_book_page)
        next_page = response.css("li.next > a ::attr(href)").extract_first()
        if next_page:
            yield scrapy.Request(response.urljoin(next_page), callback=self.parse)

    def parse_book_page(self, response):
        item = {}
        product = response.css("div.product_main")
        item["title"] = product.css("h1 ::text").extract_first()
        yield item

Answer 1

タイトル取得するときに現在のURLも一緒に取得すればいいのでは
item["url"]の名前は変更してください

def parse_book_page(self, response):
    item = {}
    product = response.css("div.product_main")
    item["title"] = product.css("h1 ::text").extract_first()
    # 追加
    item["url"] = response.url
    yield item

Comments

[fukazume]

ご回答、誠にありがとうございます。その手がありました！