scrapyでスクレイピングしたデータをint型に加工したい

Question

実現したいこと

scrapyでスクレイピングしたデータをtext型やint型で保存できるように加工しようとしています。

詰まっていること

text型の加工（空白の削除など）はできましたが、int型の加工がうまくできず、「¥1,000」の「￥」や「,」を消したいのですが、残ったままです。
どうすればint型を加工できるでしょうか？

＊講座を受講中に分からなくなったため、きれいにしたつもりではありますが、いらないコードなどが入っているかもしれません。ご容赦ください。

import scrapy
from itemloaders.processors import TakeFirst, MapCompose, Join

#[¥]消す
def strip_yen(element):
    if element:
        return element.replace('¥','')
    return element
#[,]消す
def strip_comma(element):
    if element:
        return element.replace(',','')
    return element

#int型に変える
def convert_integer(element):
    if element:
        return int(element)
    return 0
#[サイズ][判]を消す
def get_size(element):
    if element:
        return element.split('／')[0].replace('サイズ ','').replace('判','')
    return element
#[ページ数][p]消す
def get_page(element):
    if element:
        return element.split('／')[0].replace('ページ数 ','').replace('p','')
    return element
#[商品コード]消す
def strip_isbn(element):
    if element:
        return element.replace('商品コード ','')
    return element

class BookItem(scrapy.Item):
　  #タイトル
    title = scrapy.Field(
        imput_processor = MapCompose(str.lstrip),
        output_processor = Join(' ') 
    )
    #著者
    author = scrapy.Field(
        output_processor = TakeFirst()
    )
    #値段
    price = scrapy.Field(
        imput_processor = MapCompose(strip_yen, strip_comma, convert_integer),
        output_processor = TakeFirst()
    )
 　 #出版社
    publisher = scrapy.Field(
        output_processor = TakeFirst()
    )
    #サイズ
    size = scrapy.Field(
        imput_processor = MapCompose(get_size),
        output_processor = TakeFirst()
    )
    #ページ
    page = scrapy.Field(
        imput_processor = MapCompose(get_page, convert_integer),
        output_processor = TakeFirst()
    )
    #ISBN
    isbn = scrapy.Field(
        imput_processor = MapCompose(strip_isbn),
        output_processor = TakeFirst()
    )

import scrapy
from scrapy.linkextractors import LinkExtractor
from scrapy.spiders import CrawlSpider, Rule
import logging
from kinokuniya.items import BookItem
from scrapy.loader import ItemLoader


class ComputerBooksSpider(CrawlSpider):
    name = 'computer_books'
    allowed_domains = ['www.kinokuniya.co.jp']
    start_urls = ['https://www.kinokuniya.co.jp/f/dsd-101001037028005-06-']

    rules = (
        #書籍２０冊分のURLを辿る
        Rule(LinkExtractor(restrict_css='h3.heightLine-2 > a'), callback='parse_item', follow=False)
    )

def parse_item(self, response):
        logging.info(response.url)

        loader = ItemLoader(item=BookItem(),response=response)
        #タイトル
        loader.add_css('title','h3[itemprop="name"]::text'),
        #著者
        loader.add_css('author','div.infobox.ml10.mt10 > ul > li > a::text'),
        #値段
        loader.add_css('price','span.sale_price::text'),
        #出版社
        loader.add_css('publisher','a[href*=publisher-key]::text'),
        #サイズ
        loader.add_css('size','div.infbox.dotted.ml10.mt05.pt05 > ul > li::text'),
        #ページ
        loader.add_css('page','div.infbox.dotted.ml10.mt05.pt05 > ul > li::text'),
        #ISBN
        loader.add_css('isbn','li[itemprop="identifier"]::text'),
      
        yield loader.load_item()

# Scrapy settings for kinokuniya project
#
# For simplicity, this file contains only settings considered important or
# commonly used. You can find more settings consulting the documentation:
#
#     https://docs.scrapy.org/en/latest/topics/settings.html
#     https://docs.scrapy.org/en/latest/topics/downloader-middleware.html
#     https://docs.scrapy.org/en/latest/topics/spider-middleware.html

BOT_NAME = 'kinokuniya'

SPIDER_MODULES = ['kinokuniya.spiders']
NEWSPIDER_MODULE = 'kinokuniya.spiders'


# Crawl responsibly by identifying yourself (and your website) on the user-agent
#USER_AGENT = 'kinokuniya (+http://www.yourdomain.com)'

# Obey robots.txt rules
ROBOTSTXT_OBEY = True

# Configure maximum concurrent requests performed by Scrapy (default: 16)
#CONCURRENT_REQUESTS = 32

# Configure a delay for requests for the same website (default: 0)
# See https://docs.scrapy.org/en/latest/topics/settings.html#download-delay
# See also autothrottle settings and docs
DOWNLOAD_DELAY = 3
# The download delay setting will honor only one of:
#CONCURRENT_REQUESTS_PER_DOMAIN = 16
#CONCURRENT_REQUESTS_PER_IP = 16

# Disable cookies (enabled by default)
#COOKIES_ENABLED = False

# Disable Telnet Console (enabled by default)
#TELNETCONSOLE_ENABLED = False

# Override the default request headers:
#DEFAULT_REQUEST_HEADERS = {
#   'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
#   'Accept-Language': 'en',
#}

# Enable or disable spider middlewares
# See https://docs.scrapy.org/en/latest/topics/spider-middleware.html
#SPIDER_MIDDLEWARES = {
#    'kinokuniya.middlewares.KinokuniyaSpiderMiddleware': 543,
#}

# Enable or disable downloader middlewares
# See https://docs.scrapy.org/en/latest/topics/downloader-middleware.html
#DOWNLOADER_MIDDLEWARES = {
#    'kinokuniya.middlewares.KinokuniyaDownloaderMiddleware': 543,
#}

# Enable or disable extensions
# See https://docs.scrapy.org/en/latest/topics/extensions.html
#EXTENSIONS = {
#    'scrapy.extensions.telnet.TelnetConsole': None,
#}

# Configure item pipelines
# See https://docs.scrapy.org/en/latest/topics/item-pipeline.html
ITEM_PIPELINES = {
   'kinokuniya.pipelines.CheckItemPipeline': 100,
}

IMAGE_STORE = r'/Users/koyamataichi/Desktop/books_toscrape/kinokuniya/book_images'
IMAGE_URLS_FIELD = 'image_urls'
# Enable and configure the AutoThrottle extension (disabled by default)
# See https://docs.scrapy.org/en/latest/topics/autothrottle.html
#AUTOTHROTTLE_ENABLED = True
# The initial download delay
#AUTOTHROTTLE_START_DELAY = 5
# The maximum download delay to be set in case of high latencies
#AUTOTHROTTLE_MAX_DELAY = 60
# The average number of requests Scrapy should be sending in parallel to
# each remote server
#AUTOTHROTTLE_TARGET_CONCURRENCY = 1.0
# Enable showing throttling stats for every response received:
#AUTOTHROTTLE_DEBUG = False

# Enable and configure HTTP caching (disabled by default)
# See https://docs.scrapy.org/en/latest/topics/downloader-middleware.html#httpcache-middleware-settings
HTTPCACHE_ENABLED = True
HTTPCACHE_EXPIRATION_SECS = 0
HTTPCACHE_DIR = 'httpcache'
#HTTPCACHE_IGNORE_HTTP_CODES = []
#HTTPCACHE_STORAGE = 'scrapy.extensions.httpcache.FilesystemCacheStorage'

FEED_EXPORT_ENCODING='utf-8'

#処理する量を一つに限定する
CONCURRENT_REQUESTS = 1

#優先順を階層の浅いところから処理する
DEPTH_PRIORITY = 1

#リクエストを受けた最後から処理する⇨最初から処理するへ変更
SCHEDULER_DISK_QUEUE = 'scrapy.squeues.PickleFifoDiskQueue'
SCHEDULER_MEMORY_QUEUE = 'scrapy.squeues.FifoMemoryQueue'

Answer 1

int型の加工がうまくできず、「¥1,000」の「￥」や「,」を消したいのですが、残ったままです。

imput_processor を input_processor に変更します。title や author なども同様です。

class BookItem(scrapy.Item):

    #値段
    price = scrapy.Field(
        #imput_processor = MapCompose(strip_yen, strip_comma, convert_integer),
        input_processor = MapCompose(strip_yen, strip_comma, convert_integer),
        output_processor = TakeFirst()
    )

その他に、サイズとページ数の抽出処理を一部変更します。

class ComputerBooksSpider(CrawlSpider):
                    :

    def parse_item(self, response):
                    :
        #サイズ
        #loader.add_css('size','div.infbox.dotted.ml10.mt05.pt05 > ul > li::text'),
        loader.add_css('size','div.infbox.dotted.ml10.mt05.pt05 > ul > li:first-of-type::text'),
        #ページ
        #loader.add_css('page','div.infbox.dotted.ml10.mt05.pt05 > ul > li::text'),
        loader.add_css('page','div.infbox.dotted.ml10.mt05.pt05 > ul > li:first-of-type::text'),
                    :

#[サイズ][判]を消す
def get_size(element):
    if element:
        #return element.split('／')[0].replace('サイズ ','').replace('判','')
        return element.split('／')[0].strip().replace('サイズ ','').replace('判','')
    return element

def get_page(element):
    if element:
        #return element.split('／')[0].replace('ページ数 ','').replace('p','')
        return element.split('／')[1].replace('ページ数 ','').replace('p','')
    return element

出力結果

[
{"title": "ｊＱｕｅｒｙ最高の教科書", "author": "シフトブレイン【著】", "price": 2838, "publisher": "ＳＢクリエイティブ", "size": "B5", "page": 319, "isbn": "9784797372212"},
{"title": "スラスラ読めるＪａｖａＳｃｒｉｐｔふりがなプログラミング", "author": "及川 卓也【監修】", "price": 2035, "publisher": "インプレス", "size": "A5", "page": 191, "isbn": "9784295003854"},
{"title": "Ｒｅａｃｔハンズオンラーニング―Ｗｅｂアプリケーション開発のベストプラクティス （第２版）", "author": "バンクス，アレックス〈Ｂａｎｋｓ，Ａｌｅｘ〉", "price": 3740, "publisher": "オライリー・ジャパン", "size": "B5", "page": 350, "isbn": "9784873119380"},
                                    :

Comments

[zonkota]

回答ありがとうございます！
解決しました！ケアレスミスに全然気づきませんでした、、

一つ気になったのですが、修正していただいた「first-of-type」というのは1個目の要素だから「first」だと思うのですが、2個目3個目の場合や、１０個目などはどう表記すれば良いのでしょうか？

[melian]

nth-of-type を使います(インデックスは 1 から始まります)。nth-of-type(2), nth-of-type(10)

[zonkota]

ひとつ目以外は同じ表記方法なんですね！
ありがとうございます。勉強になりました。

Answer 2

        return element.replace('¥','')

を、

        return element.replace('\¥','')

に変更してください。

Comments

[zonkota]

コメントありがとうございました！