Pythonで複数のページをスクレイピングしたいです。

Question

複数のページで同じ情報を一括で取得したいです。
それで下記の所まで書いたのですが、
ここからどうしたら良いのかわからないのでアドバイスをいただけないでしょうか？

＜追加＞
何で削除されてないのかがわからない。このサイトへの不信感、日本のプログラミング界への不信感しかない。

import requests
from bs4 import BeautifulSoup

list = ['https://www.very.co.uk/nike-revolution-5-pink/1600494182.prd?crossSellType=item_page.recs_1', 'https://www.very.co.uk/nike-revolution-5-white/1600385578.prd?crossSellType=item_page.recs_1', 'https://www.very.co.uk/nike-revolution-5-blackpinkgrey/1600385605.prd?crossSellType=item_page.recs_1']

for url in list:
    html = requests.get(url)
    soup = BeautifulSoup(html.content, "html.parser")
    price = soup.find(class_="u-text-20 u-font-bold price")
    print(price.text)

Comments

[meg_]

> それで下記の所まで書いたのですが、
ここからどうしたら良いのかわからないのでアドバイスをいただけないでしょうか？
現在のコードで質問者さんがやりたい事に対してどこまで実装できているのでしょうか？ 「同じ情報を一括で取得」だけでは具体的なことが判りませんので、「ここからどうしたら良いのか」も第三者には回答のしようがないかと思います。
※該当サイト（https://www.very.co.uk）はスクレイピンが禁止されていないサイトでしょうか？

[jwill]

このサイトの使用途がわからないです。
何を質問して何を質問したいけないのががわからないです。

[kaina]

質問する前に以下のページは読みましたか？
https://teratail.com/help/question-tips

Answer 1

質問の軸とズレていますが..

# jwillさんのコード
price = soup.find(class_="u-text-20 u-font-bold price")

# 取得に失敗するのでこちらが安定しています。
price = soup.find(attrs={"class" : "u-text-20 u-font-bold price"})

下記コードは実務でスクレイピングをするときに使っています。
なにかの参考になるかもです。

実行方法

url = "https://example.com"
# trials_numberはリクエストが成功するまで任意の回数分繰り返します。
html = try_to_succeed(url, trials_number=5)

メインコード

import requests
import time

from fake_useragent import UserAgent
from bs4 import BeautifulSoup as bs
import lxml


def try_to_succeed(url, trials_number=5):
    """リクエストなどが成功するまで任意の指定回数分、繰り返す
    
    1.指定URLをrequestする
    2.レスポンスが200（正常）でなければユーザーエージェントを変更しながら指定回数分、requestする
    3.成功したら、lxml or html.parser で解析したcontentを返す
    
    url: リクエストするターゲットURL
    trials_number: 試行回数
    """
    # 繰り返し継続の判定
    judge = False
        
    for trial in range(trials_number):
        if judge:
            try:
                parsed_html = bs(response.content, "lxml")
            except:
                parsed_html = bs(response.content, "html.parser")

            # 解析済みのHTMLを返す
            return parsed_html
        
        try:
            # ユーザーエージェントの設定
            ua = UserAgent()
            useragent = ua.random
            headers = {'User-Agent':useragent}
            
            response = requests.get(url, headers=headers)
            judge = True if response.status_code == 200 else False
            if trial >= 2:
                time.sleep(1)

        except Exception as e:
            return e

Comments

[jwill]

ありがとうございます。