Scrapyでのcallback処理がされない

Question

scrapyによるスクレイピングを試しています．
初めにxxx/yyy/archiveにアクセスし，archiveの情報を取得，callbackによりarchive以下の情報を取得したいです．

# -*- coding: utf-8 -*-
import scrapy
from scrapy.spiders import CrawlSpider, Rule
from scrapy.linkextractors import LinkExtractor
from scrapy.selector import Selector

from restpro.items import TestItem

class TestderSpider(scrapy.Spider):
    name = 'test'
    allowed_domains = ['xxx/yyy/archive']
    start_urls = ['http://xxx/yyy/archive/']

    rules = [Rule(LinkExtractor(), callback='parse', follow=True)]

    def parse(self, response):

        print("Scraping: " + response.url)
        
        obj = response.selector.xpath('path_to_tag').extract()
        item = TestItem()
        item['test'] = obj
        yield item

        for href in response.xpath('path_to_href').extract():
            url = response.urljoin(href)
            print("URL is :{0}".format(url))
            yield scrapy.Request(url, callback=self.parse)

printによって表示されるURLはhttp://xxx/yyy/archive/zzz.html(複数)と正しいものでした．
yield scrapy.Request(url, callback=self.parse)によって再度parseが呼ばれると思っているのですが，print("Scraping: " + response.url)の出力も最初の呼び出し以外されません．

環境

• scrapy 1.5.0

Answer 1

allowed_domains = ['xxx/yyy/archive']

が

allowed_domains = ['xxx']

の間違いでは。

あと関係ないですがrulesは無用ですね。