Python3でのWebスクレイピング

Question

BeautifulSoupを使用したWebスクレイピング

Python3のBeautifulSoupを使用し、下記のサイトのWebスクレイピングに挑戦しています。
指定したclassの下にある、title=""　の""の中にある各商品の名前を取り出したいのですが、Noneしか返ってこずうまく取り出すことができません。
初歩的な質問で申し訳ないですが、回答いただけると助かります！

https://search.rakuten.co.jp/search/mall/%E3%83%9F%E3%83%83%E3%82%AF%E3%82%B9%E3%83%8A%E3%83%83%E3%83%84/

url = requests.get("https://search.rakuten.co.jp/search/mall/%E3%83%9F%E3%83%83%E3%82%AF%E3%82%B9%E3%83%8A%E3%83%83%E3%83%84/").content
soup = BeautifulSoup(url)
items = soup.find(class_="dui-cards searchresultitems")
title = items.a.get("title")
print(title)

Answer 1

1, 要素を取得できないときは、取得したHTMLの内容をprintで出力して確認してみてくださいな。

print(url)

2, スクレイピングは相手のサイトに依存するので、こんな感じでしょうか。
取得したHTMLを見ながらいろいろ、試してみてくださいな。

# -*- coding: utf-8 -*-
import requests
from bs4 import BeautifulSoup

def main():
    url = requests.get(
        "https://search.rakuten.co.jp/search/mall/%E3%83%9F%E3%83%83%E3%82%AF%E3%82%B9%E3%83%8A%E3%83%83%E3%83%84/").content
    soup = BeautifulSoup(url)
    #print(url)
    for item in soup.find_all("a", attrs={"data-track-trigger": "title", "target": "_top"}):
        print("#" * 50)
        print(item)
        title = item.get("title")
        if title is None:
            continue
        print("-" * 50)
        print(title)


if __name__ == "__main__":
    main()

Comments

[unicornlover]

umyuさん
回答いただいたコードを参考に色々試してみて、自分がしたかった結果を得ることができました！
本当に助かりました！ありがとうございます！