BeautifulSoupを用いた、スクレイピング方法について

Question

実現したいこと

HTMLデータから、特定のタグの特定の要素のみを抽出し、CSVファイルに落とし込みたい

前提

webスクレイピング初心者なのですが、SUUMOの物件情報をまとめてCSVファイルに落とし込むという練習をしております。

その中で、テキストデータのみを抜き出してファイルに落とし込むことは出来たのですが、画像のURLも同時にスクレイピングしようと思い、コードを書いたところURLの抽出が出来ず困っております。

URLは、タグの中で要素が複数存在し、その中の一つの要素に格納されています。
しかし、タグを丸々抽出できても特定の要素のみの抽出が出来ません。

発生している問題・エラーメッセージ

テキストデータと同時にタグの中から、特定の要素（URL）の抽出が出来ない。

[<img alt="" class="js-noContextMenu js-linkImage js-scrollLazy js-adjustImg" height="0" rel="https://img01.suumo.com/front/gazo/fr/bukken/867/100335445867/100335445867_gw.jpg" src="data:image/gif;base64,R0lGODlhAQABAIAAAAAAAAAAACH5BAEAAAAALAAAAAABAAEAAAICRAEAOw%3D%3D" width="0">
</img>]

コードを実行した結果が上記になりますが、その中から"rel"内にあるURLのみを辞書に格納し、CSVファイルに落とし込みたいです。

該当のソースコード

import requests
from bs4 import BeautifulSoup
from pprint import pprint
from time import sleep
import pandas as pd
import re

url = "https://suumo.jp/jj/chintai/ichiran/FR301FC001/?ar=010&bs=040&ra=001&cb=0.0&ct=9999999&et=9999999&cn=9999999&mb=0&mt=9999999&shkr1=03&shkr2=03&shkr3=03&shkr4=03&fw2=&rn=4050&rn=4055&rn=4060&page={}"

d_list = []

for i in range(1,4):
    #print("d_listの大きさ:",len(d_list))
    target_url = url.format(i)
    #print(target_url)

    r = requests.get(target_url)

    sleep(1)

    soup = BeautifulSoup(r.text,"html.parser")



    contents = soup.find_all("div",class_="cassetteitem")
    for content in contents:

        #物件情報を取得
        detail = content.find("div",class_="cassetteitem-detail")

        #部屋情報を取得
        table = content.find("table",class_="cassetteitem_other")

        #物件情報からそれぞれの要素を取得
        image = detail.select("img")#分からない今回のコード
        title = detail.find("div",class_="cassetteitem_content-title").text
        address =detail.find("li",class_="cassetteitem_detail-col1").text
        acsess = detail.find("li",class_="cassetteitem_detail-col2").text
        age = detail.find("li",class_="cassetteitem_detail-col3").text
        

        #部屋情報からそれぞれの要素を取得
        tr_tags = table.find_all("tr",class_="js-cassette_link")

        for tr_tag in tr_tags:

            floor,rent,first_fee,capacity = tr_tag.find_all("td")[2:6]
            
            price,administration = rent.find_all("li")
            deposit,gratuity = first_fee.find_all("li")
            madori,menseki = capacity.find_all("li")

            #辞書に格納
            d = {"image":image,"title":title,"address":address,"acsess":acsess,"age":age,
                "floor":floor.text,"price":price.text,"administration":administration.text,
                "deposit":deposit.text,"gratuity":gratuity.text,"madori":madori.text,"menseki":menseki.text}
            
            d_list.append(d)

print(image)

"""
df = pd.DataFrame(d_list)


df2 = df.applymap(lambda x: re.sub('\n', ' ', x))
df3 = df2.applymap(lambda x: re.sub('\r', ' ', x))
df4 = df3.applymap(lambda x: re.sub('\t', ' ', x))

df4.to_csv("bukken.csv",index=None,encoding="utf-8-sig")
        


"""

試したこと

上記のように、find()ではなく、select()も使用してみましたが、imgタグの抽出までしかできませんでした、、

補足情報（FW/ツールのバージョンなど）

ここにより詳細な情報を記載してください。

Answer 1

image[0]['rel'] で取得できると思います。

HTMLやXMLでは、alt=... や rel=.. のことを「属性」と呼びます。開始タグと終了タグの組で表現されたものを「要素」と呼びます。

Comments

[tyonmage12]

ご回答ありがとうございます！

どの部分で、image["rel"]を記載するのでしょうか、、？

TypeError: list indices must be integers or slices, not str
となり、エラー解消出来ません、、

[int32_t]

おっとすみません、image[0]['rel'] でした。

[tyonmage12]

ありがとうございます！

image = detail.select("img")
images = image[0]["rel"]

で取得することが出来ました！

ちなみに、先ほど試行錯誤した結果、
image = detail.img["rel"]
でも取得できたのですが、正しい取得方法でしょうか？
もし、今後色々とスクレイピングしていく上で非推奨なやり方であれば、避けたいと思うのですが、、

何度も申し訳ございませんが、ご教示頂けますと幸いです。

[int32_t]

https://www.crummy.com/software/BeautifulSoup/bs4/doc/#navigating-using-tag-names で説明されているアクセス方法ですね。公式のドキュメントに書いてある方法なので、使っても大丈夫でしょう。

[tyonmage12]

ありがとうございます！
また1段ステップアップ出来ました！