scrapyで上手くjsonファイルに保存できない問題について

Question

scrapyで食べログないのデータを取得しようとして以下のようにItemとspiderを作成し、

scrapy crawl tabelog -o retaurants.jl

をコマンド実行しました。一応、retaurants.jlファイルは作成されるのですが、抽出内容が記述されずに、ファイルのみ作成されます。

何か問題があるのでしょうか？ご教授お願いします。

Item(item.py)

import json
import scrapy


class Restaurant(scrapy.Item):
    """
        食べログのレストラン情報
    """
    name = scrapy.Field()   # spaiderのresponse.css()で取得したデータを保存するItemを作成
    address = scrapy.Field()
    latitude= scrapy.Field()
    logitude = scrapy.Field()
    station = scrapy.Field()
    score = scrapy.Field()

spider(spiders/tabelog.py)

from scrapy.spiders import CrawlSpider, Rule
# CrawlSpider:定期的なウェブサイトをクロールするために最も一般的に使用されるスパイダー.
# 一連のルールを定義してリンクをたどるための便利なメカニズムを提供.
# CrawlSpiderの例はhttp://scrapy-ja.readthedocs.io/ja/latest/topics/spiders.html
import re
from scrapy.linkextractors import LinkExtractor
from myproject.items import Restaurant

class TabelogSpider(CrawlSpider):
    name = "tabelog"  # スパイダーの名前(ドメイン名)と同じの名前を付ける
    allowed_domains = ["tabelog.com"]
    start_urls =('http://tabelog.com/tokyo/rstLst/lunch/?LstCosT=2&RdoCosTp=1',)
    # ↑クロールを開始するURLのリスト.ダウンロードされる最初のページはここにリストされたページになる

    rules = [  # トピックへのルールをたどり、レスポンスをcallback関数で処理する。
        # allowで正規表現にマッチしたURL「一覧ページ(P272)」の1~9ページまで抽出。。\dを\d+に変えると10ページ目以降も辿れる。
        Rule(LinkExtractor(allow=r'/\w+/rstLst/lunch/\d'), follow=True),
             
        # レストランの「詳細ページ(P272)」をたどり、parse_retaurant()でパース(処理)する]
        Rule(LinkExtractor(allow=r'/\w+/A\d+/A\d+/\d+/$'), callback='parse_restaurant'),]
        # リンクをたどるためのルールリスト。各Ruleは, サイトをクロールするための特定の動作を定義
    
    def parse_restaurant(self, response):
        """
        レストランの詳細ページをパースする
        """
        # Google Static Mapの画像のURLから緯度と軽度を取得
        latitude, longitude = response.css('img.js-map-lazyload::attr("data-original")').re(
            r'makers=.*?%7C([\d.]+),([\d.]+)')
             
        # キー(Itemで作成したscrapy.field())の値を指定して、ItemのclassのRestaurantオブジェクトを作成
        item = Resraurant(
        name=renponse.css('.display-name').xpath('string()').extract_first().strip(),
        adress=renponse.css('[rel="v:address"]').xpath('string()').extract_first().strip(),
        latitude=latitude,
        longitude=longitude,
        station=renponse.css('dt:contains("最寄り駅")+dd span::text').extract_first(),
        score=renponse.css('[property="v:average"]::text').extract_first(),)
             
        yield item

Answer 1

import scrapy


class Restaurant(scrapy.Item):
    name = scrapy.Field()
    address = scrapy.Field()
    latitude = scrapy.Field()
    longitude = scrapy.Field()
    station = scrapy.Field()
    score = scrapy.Field()

from scrapy.spiders import CrawlSpider, Rule
import re
from scrapy.linkextractors import LinkExtractor
from myproject.items import Restaurant


class TabelogSpider(CrawlSpider):
    name = "tabelog"
    allowed_domains = ["tabelog.com"]
    start_urls = (
        'http://tabelog.com/tokyo/rstLst/lunch/?LstCosT=2&RdoCosTp=1',)

    rules = [
        # 9ページ以上抽出してしまうので最後に'/'を追加
        Rule(LinkExtractor(allow=r'/\w+/rstLst/lunch/\d/'), follow=True),
        
        Rule(LinkExtractor(allow=r'/\w+/A\d+/A\d+/\d+/$'), callback='parse_restaurant'), ]

    def parse_restaurant(self, response):
        
        # 取得できていなかったですが単純にtypoでした(makers -> markers)
        latitude, longitude = response.css('img.js-map-lazyload::attr("data-original")').re(
            r'markers=.*?%7C([\d.]+),([\d.]+)')
        
        # addressが取得できていなかったので修正
        prefectures = response.css(
            'p.rstinfo-table__address span a::text').extract()
        street_number = response.css(
            'p.rstinfo-table__address span::text').extract()

        item = Restaurant(
            name=response.css(
                '.display-name').xpath('string()').extract_first().strip(),
            address=''.join(prefectures + street_number),
            latitude=latitude,
            longitude=longitude,
            station=response.css(
                'dt:contains("最寄り駅")+dd span::text').extract_first(),
            
            # scoreもNoneで返ってきたので修正
            score=response.css('span.rdheader-rating__score-val-dtl::text').extract_first(),
        )

        yield item

とりあえず修正してみました。
修正箇所と理由はコメントで書いてあります。
他にもtypoが沢山ありましたが、そちらで確認してください。

追記
settings.pyにFEED_EXPORT_ENCODING = 'utf-8'を書かないと日本語で抽出できませんでした。

Comments

[trafalbad]

ありがとうございます！教えて頂きたいのですが、scrapyでaddressの項目なのですが、必要と判断したのは何か参考になるサイトや資料等あったのでしょうか？判断材料になったものや理由がありましたら教えて下さい！

[bluevinyl]

プログラムでなにか問題があったとき基本的にエラーログを見ないと修正箇所はわからないです。
今回は怪しいところにprintデバッグを使って値が取得できているか確認。
chromeのデベロッパーツールで検索してCSSの指定という泥臭いやり方で修正しました。
私自身cssやxpath、デベロッパーツールについて薄い知識しかないので、もっとスマートなやり方があると思います。
scrapyは以前、私も食べログで一度だけ使ったことがあるので分かるかなと思い回答に挑戦してみました。
なので、知識は公式のチュートリアルを終えた程度のものです。

[trafalbad]

ありがとうございます。とても参考になりました。