【python】Formatterを継承したクラス内の関数が作動しない

Question

##環境
python version: Python 3.8.6

pokemon:
    css: li.product
    multiple: true
    type: Text
    children:
        name:
            css: h2.woocommerce-loop-product__title
            type: Text
        price:
            css: span.woocommerce-Price-amount
            type: Text
        image:
            css: img.attachment-woocommerce_thumbnail
            type: Attribute
            attribute: src
        url:
            css: a.woocommerce-LoopProduct-link
            type: Link

import requests
from selectorlib import Extractor, Formatter
from pprint import pprint
import re
import time

# Define a formatter for Price
class Price(Formatter):
    def format(self, text):
        price = re.findall(r'\d+.\d+',text)

        if price:
            return price[0]
        return None
formatters = Formatter.get_all()



extractor = Extractor.from_yaml_file('./scrapeme_listing_page.yml',formatters=formatters)

r = requests.get('https://scrapeme.live/shop/')

data = extractor.extract(r.text)
pprint(data)

##ディレクトリ構造
![
python3.８の仮想環境で開発をしています。

##結果

##求める結果
priceの数字部分のみを抽出したい。

##試したこと
from_yaml_file()からfomatterオプションを削除してファイルを実行しても、上記と同様の結果が得られたので、Priceクラス内のformat()関数の処理を通ってないように思える。

Comments

[kairi003]

Price，dataに関わる部分で使われてなくないですか...?

[YONAMINEAKIO]

申し訳ありません試行錯誤の際にpriceをインスタンス化していました。。
求める結果には関係の無いコードなので削除しました。

Answer 1

ソースによると自作フォーマッタを使いたいときはformat属性にフォーマッタのクラス名を指定するみたいですね．
なのでymalを次のようにすれば期待どおりに動くと思います．

pokemon:
    css: li.product
    multiple: true
    type: Text
    children:
        name:
            css: h2.woocommerce-loop-product__title
            type: Text
        price:
            css: span.woocommerce-Price-amount
            type: Text
+           format: Price
        image:
            css: img.attachment-woocommerce_thumbnail
            type: Attribute
            attribute: src
        url:
            css: a.woocommerce-LoopProduct-link
            type: Link

Price.format()でsleepしたりprintしているのは確認用でしょうか？
あとNoneを返すと多分エラーになるので空文字を返すかraiseするべきですね．

Comments

[YONAMINEAKIO]

試してみたら動きました。。
ありがとうございます。
私が参考にしていたサイトではその情報はありませんでした。。
https://selectorlib.readthedocs.io/en/latest/usage.html#

Extractorのソースを確認されたのでしょうか？

[YONAMINEAKIO]

sleepやprintは確認用です。
見落としていました。。

[YONAMINEAKIO]

ただいま修正致しました。

Answer 2

求める結果になりました。
PriceクラスにFormatterを継承させて,from_yaml_file()のformattersオプションにFormatter.get_all()を指定すれば、自動的にPriceクラス内のformat関数が実行されると思い込んでました。

import requests
from selectorlib import Extractor, Formatter
from pprint import pprint
import re
import time

#Define a formatter for Price
class Price(Formatter):
    def format(self, text):
        price = re.findall(r'\d+.\d+',text)
        
        print(price)
        if price:
            return price[0]
        return None
    

formatters = Formatter.get_all()


extractor = Extractor.from_yaml_file('./scrapeme_listing_page.yml',formatters=formatters)

r = requests.get('https://scrapeme.live/shop/')

data = extractor.extract(r.text)
for i in data['pokemon']:
    price = Price.format(Price,i['price'])
    i['price'] = price

pprint(data)

Comments

[kairi003]

yamlの方で指定しておけばget_allだけで自動で動きますよ