【webスクレイピング】cssセレクタでURL取得後URLページの中身を取得できない

Question

最終的な目標

プログラミング初学者です。
Udemyという動画サイトの講座でやったことを競馬のサイトで応用し、それを元にデータベースを作成することを目標にしています。

環境

Anaconda-Navigatorで環境を作り、vscode(Python)でスクレイピングするためのコードを記述しています。

やりたいこと

cssセレクタで指定したURLを取得し、
そのURLを辿って、詳細情報を取得する。

詰まっている部分

・cssセレクタで複数指定したはずのURLを一つしか取得できない。
・詳細ページへ遷移後のデータが取得できない

やってみたこと

spider①のコードではURLを取得できています。

import scrapy
import logging

class KeibaDbSpider(scrapy.Spider):
    name = 'keiba_db'
    allowed_domains = ['race.netkeiba.com']
    start_urls = ['https://race.netkeiba.com/race/result.html?race_id=202207011001&rf=race_list']

    #URL情報を取得する
    def parse(self, response):
        #cssセレクタを絞り込む
        race_results = response.css('#All_Result_Table > tbody > tr')

        for race_result in race_results:
            yield{
                #馬名のURLを取得
                'bameiUrl' : race_result.css('td > span > a::attr(href)').get(),
            }

[
{"bameiUrl": "https://db.netkeiba.com/horse/2019102502"},
{"bameiUrl": "https://db.netkeiba.com/horse/2019101714"},
{"bameiUrl": "https://db.netkeiba.com/horse/2019106083"},
{"bameiUrl": "https://db.netkeiba.com/horse/2019103928"},
{"bameiUrl": "https://db.netkeiba.com/horse/2019104549"},
{"bameiUrl": "https://db.netkeiba.com/horse/2019106565"},
{"bameiUrl": "https://db.netkeiba.com/horse/2019100873"},
{"bameiUrl": "https://db.netkeiba.com/horse/2019104251"},
{"bameiUrl": "https://db.netkeiba.com/horse/2019102354"},
{"bameiUrl": "https://db.netkeiba.com/horse/2019101739"},
{"bameiUrl": "https://db.netkeiba.com/horse/2019104311"},
{"bameiUrl": "https://db.netkeiba.com/horse/2019101706"},
{"bameiUrl": "https://db.netkeiba.com/horse/2019101795"},
{"bameiUrl": "https://db.netkeiba.com/horse/2019102353"},
{"bameiUrl": "https://db.netkeiba.com/horse/2019106625"},
{"bameiUrl": "https://db.netkeiba.com/horse/2019100265"}
]

しかし、spider②のコードのように詳細ページに遷移できるように書き換えるとURLを1つしか取得できなくなっています（ログで確認）
また、詳細情報も取得することができていません。
講座で学んだコードをほぼ真似て作成したのですが、うまく取得できませんでした。

import scrapy
import logging

class KeibaDbSpider(scrapy.Spider):
    name = 'keiba_db'
    allowed_domains = ['race.netkeiba.com']
    start_urls = ['https://race.netkeiba.com/race/result.html?race_id=202207011001&rf=race_list']

    #URLから詳細ページへ遷移する
    def parse(self, response):
        #cssセレクタを絞り込む
        race_results = response.css('#All_Result_Table > tbody > tr')

        for race_result in race_results:
            # yield{
            #     #馬名のURLを取得
            #     'bameiUrl' : race_result.css('td > span > a::attr(href)').get(),
            # }

            #cssセレクタでURLを指定（16個）
            yield response.follow(url=race_result.css('td > span > a::attr(href)').get(),
　　　　　　　 callback=self.parse_item)

    #詳細ページから情報を取得する     
    def parse_item(self,response):
        #詳細ページのcssセレクタを絞り込む
        syosai = response.css('#contents > div.db_main_race.fc > div')
        yield{
            #開催地を取得する
            'kaisai' : syosai.css('table > tbody > tr:nth-child(1) > td:nth-child(2) > a::text').get(),
        }

最後に

初めての投稿です。
どうしても自力でこの事象を解決することができず、調べても調べ方が下手なのかいい情報を得られず、しかしどうしても諦めることもできなかったので投稿しました。
初めての質問で質問内容に不足している部分やわかりづらい部分もあるかもしれませんが、皆さまのお力をお借りさせて頂きたいです。よろしくお願いします。

Answer 1

Scrapy のログを確認しますと、以下の様なメッセージが出力されています。

2022-02-09 00:34:44 [scrapy.spidermiddlewares.offsite] DEBUG: Filtered offsite request to 'db.netkeiba.com': <GET https://db.netkeiba.com/horse/2019102502>

なので、allowed_domains に db.netkeiba.com を追加します。

    #allowed_domains = ['race.netkeiba.com']
    allowed_domains = ['race.netkeiba.com', 'db.netkeiba.com']

Comments

[zonkota]

早速の解答ありがとうございます！３日ほど悩んでいたのが嘘のようです！
本当に助かりました。ありがとうございました！