【python scrapy】parser間での変数共有【DB構築】

Question

###scrapyで得たデータを用いてデータベースを構築しています。
ページの種類に応じてparser1とparser2を使い分けていて、それぞれを別々のテーブルに格納しています。また、parser1とparser2に共通の変数hogeをキーにして、テーブル間のリレーションを取ろうとしてるのですが、データの表記揺れによりうまくリレーションが取れないデータが発生してしまいます。

そこで、parser1で得た変数hogeをparser2に渡して使いたいと考えています。

やり方はあるでしょうか。

###該当のソースコード

# spider.py
from scrapy import Request
from scrapy.spider   import BaseSpider
from create_filmdb.items import Item1,Item2
from bs4 import BeautifulSoup

class Spider(BaseSpider):
    name = 'spider'
    allowed_domains = ['#domain#']

    def start_requests(self):
        yield Request('#url#', self.parser1)

    def parser1(self,response):
        item = item1()
        soup = BeautifulSoup(response)
        hoge1 = #スクレイピング結果#
        next_url = #スクレイピング結果#
        item['hoge'] = hoge
        yield Request(next_url, self.parser2)
        yield item

    def parser2(self,response):
        item = Item2()
        soup = BeautifulSoup(response)
        hoge = #スクレイピング結果#
        item['hoge'] = hoge
        yield item

###補足情報
Python 3.5.2
Scrapy 1.2.1
postgresql

Answer 1

requestのmetaを用いて解決しました。

def parse_page1(self, response):
item = MyItem()
item['main_url'] = response.url
request = scrapy.Request("http://www.example.com/some_page.html",
callback=self.parse_page2)
request.meta['item'] = item
return request

def parse_page2(self, response):
item = response.meta['item']
item['other_url'] = response.url
return item