python,beautiful soupを用いたwebページからの情報取得

Question

pythonでのスクレイピングを勉強中です。
Beautiful soupのfind、find_allを使い特定のサイトから情報を取得しようとしています。

教材はyoutube上の動画です。
投稿主さんが動画中で書いているコードをそのまま自分のエディタに書き込みながら勉強していたのですが以下のコードを実行した際、私のコマンドプロンプト上でだけエラーが出てしまいました。動画上では問題なく作動し特に注意点などないまま次のセクションに進んでいました。

発生している問題・エラーメッセージ

AttributeError: ResultSet object has no attribute 'find'. You're probably treating a list of elements like a single element. Did you call find_all() when you meant to call find()?

該当のソースコード

import requests
from bs4 import BeautifulSoup

url = 'https://suumo.jp/chintai/tokyo/sc_shinjuku/?page={}'

target_url = url.format(1)

r = requests.get(target_url)

soup = BeautifulSoup(r.text)

contents = soup.find_all('div', class_='cassetteitem')
detail = soup.find_all('div', class_='cassetteitem_detail')
table = soup.find_all('div', class_='cassetteitem_other')

title = detail.find('div', class_='cassetteitem_content-title').text

address = detail.find('li', class_='cassetteitem_detail-col1').text
access = detail.find('li', class_='cassetteitem_detail-col2').text
years = detail.find('li', class_='cassetteitem_detail-col3').text

試したこと

ここに問題に対して試したことを記載してください。;

補足情報（FW/ツールのバージョンなど）

参考にした動画はこちらです。
https://youtu.be/l9KRgSUeNXk?list=PL4Y-mUWLK2t1LehwHVwAqxXTXw5xd-Yq8

version:
Python 3.9.5

Answer 1

スクレイピングは、対象のページ次第です。
半年前にやったスクレイピングと同じコードで、現在のページをスクレイピングできないことは普通にあるでしょう。
以下で試してみて下さい。
2021年5月21日には動いていましたが、2021年5月22日以降に動くかどうかはわかりません。

import requests
from bs4 import BeautifulSoup

url = 'https://suumo.jp/chintai/tokyo/sc_shinjuku/?page={}'

target_url = url.format(1)

r = requests.get(target_url)

soup = BeautifulSoup(r.text)

contents = soup.find_all('div', class_='cassetteitem')
detail = soup.find_all('ul', class_='cassetteitem_detail')
table = soup.find_all('table', class_='cassetteitem_other')

#title = detail.find('div', class_='cassetteitem_content-title').text

for dtl in detail:
    address = dtl.find('li', class_='cassetteitem_detail-col1').text
    access = dtl.find('li', class_='cassetteitem_detail-col2').text
    years = dtl.find('li', class_='cassetteitem_detail-col3').text
    print(address, access, years)

Comments

[退会済みユーザー]

ご回答ありがとうございます。
提案していただいたコードでエラーなく実行することができました。

差し支えなければ追加で質問させてください。実際の作業では使う機会がほとんどないかと思いますが、もし今回のwebサイト、物件情報の一件目だけのtitle, address, access, yearsを取得したい場合はどのようにコードを書くべきなのでしょうか？

私が理解している範囲では変数detailにはfind_allで取得したデータ（今回だと２０件分の賃貸情報）がリスト形式で保存され、findは指定された範囲で一番最初に該当したデータを抽出するものだと思っています。そのためどのような決まりが作用して今回エラーになってしまったのかがまだ理解できていません。

よろしければなぜ私のコードがエラーになってしまったのか、また一件目だけの情報を取得する場合のコードを提案していただけると幸いです。address = detail[0].find('li', class_='cassetteitem_detail-col1'ような形でしょうか？

長くなってしまいましたがよろしくお願いします

[ppaul]

もともとのコードがエラーになったのは、SUUMOがページのHTMLの書き方を変更したためです。'div'タグでclassを指定したものが、'ul'タグに変わったために、detailを検索したときに何も見つからなかったので、detail.findがエラーとなっていたのです。
スクレイピングをする場合は、対象のHTMLのタグを調べてそれに対応したコードを書く必要があります。
私がやったことは、r.textを調べて、エディタの検索機能で'cassetteitem_detail'を含むタグを探し、それが'div'ではなく'ul'タグであることを調べたのと、'cassetteitem_other'を含むタグを探し、それが'div'ではなく'table'タグであることを調べたことです。
今後、ご自身でスクレイピングを行うなら、そういうことを自分でできるようになってください。
一件目だけの情報を取得する場合であれば、
detail = soup.find_all('ul', class_='cassetteitem_detail')
のあと、
address = detail.find('li', class_='cassetteitem_detail-col1').text
access = detail.find('li', class_='cassetteitem_detail-col2').text
years = detail.find('li', class_='cassetteitem_detail-col3').text
で動くと思います。

[退会済みユーザー]

とても丁寧な説明また実際にppaulさんがやったことを教えていただきありがとうございます。
今回提案していただいたコードについてもしっかりと動作し、理解することができました。
今回は本当にありがとうございました。また問題に直面した際にはよろしくお願いします。