スクレイピングする際に相対パスを絶対パスへ変換したい

Question

Scrapyを利用してリンクURLを取得しています。
その際に相対パスは取得できたのですが、絶対パスへ変換する事ができません。

.urljoinメソッドを利用すれば対応できるかと思うのですが、
yieldのa の部分へurljoinを設定する方法が思いつきませんでした。

import scrapy

class AnimeSpider(scrapy.Spider):
    name = "test2"
    start_urls = [
        'http://toyokeizai.net/'
    ]

    def parse(self, response):
        for test in response.css('span.shoulder'):

            yield {
                'a': test.css('a::attr(href)').extract(),
                'src':   test.css('a::text').extract()
            }

Answer 1

https://doc.scrapy.org/en/latest/topics/request-response.html#scrapy.http.Response.urljoin

            yield {
                'a': response.urljoin(test.css('a::attr(href)').extract_first()),
                'src':   test.css('a::text').extract_first()
            }

extract_firstでは? と思ったので書きかえてあります。

Comments

[abab7200]

対応できました　ありがとうございます！！