現在こちらの記事を参考にScrapyでスクレイピングをしており、
https://data.gunosy.io/entry/python-scrapy-scraping
記事のカテゴリ(エンタメ、スポーツなど)もsel.cssで得たいと思い、2時間ほど試行錯誤しておりますが中々上手くいきません。
items.pyに、
category = scrapy.Field()を追加
別のファイルにて
article['title'] = sel.css("div.list_title > a::text").extract_first()
article['url'] = sel.css("div.list_title > a::attr('href')").extract_first()
article['subcategory'] = sel.css("div.list_text > a::text").extract_first()
上記3行の後ろに
article['category'] = sel.css("ul.current > a::text").extract_first()
ul.currentはGoogleのDeveloper ToolからCSSを調べました。上記の画像でいうとスポーツのところです。
を追加しターミナルで実行すると他の値は返ってきますが、Categoryの結果のみがNoneと返ってきます。
解決方法をご教示頂きたいです。
よろしくお願いします。
バッドをするには、ログインかつ
こちらの条件を満たす必要があります。