スクレイピング beautifulsoup

Question

実現したいこと

beautifulsoupを用いたスクレイピングで、soup.findしたものをさらにsoup.findして目的の要素を取り出したい。

例

例えば,以下のhtmlで本のタイトルを取得したいとき、

<div class="wrapper">
    <div class="book">
      <div class="title">タイトル：python</div>
      <div class="price">値段：1000円</div>
      <div class="publisher">出版社：python出版</div>
    </div>
    <div class="book">
      <div class="title">タイトル：Java</div>
      <div class="price">値段：2000円</div>
      <div class="publisher">出版社：Java出版</div>
    </div>
    <div class="book">
      <div class="title">タイトル：C</div>
      <div class="price">値段：3000円</div>
      <div class="publisher">出版社：C出版</div>
    </div>
    <div class="book">
      <div class="title">タイトル：html</div>
      <div class="price">値段：4000円</div>
      <div class="publisher">出版社：html出版</div>
    </div>
</div>

このようにしたい

#全ての本の情報をbook_listに入れる
book_list = soup.find_all("div", class_="book")

#book_listから欲しい情報を取り出す
for i in range(4):
    title = book_list[i].find("div", class_="title")
    print(title)

しかし、上のコードは間違っており、うまく動かない。

soup.findしたものをさらにsoup.findして目的の要素を取り出すという処理をするコードの書き方がわかりません。ご教授お願いします。

Answer 1

こんばんは。

問題文拝見しました。

こんな感じでしょうか？

from bs4 import BeautifulSoup

html = """<div class="wrapper">
   <div class = "book">
        <div class = "title"> タイトル：python </div>
        <div class = "price"> 値段：1000円 </div>
        <div class = "publisher"> 出版社：python出版 </div>
    </div>
    <div class = "book">
        <div class = "title"> タイトル：Java</div>
        <div class = "price"> 値段：2000円</div>
        <div class = "publisher"> 出版社：Java出版</div>
    </div>
    <div class = "book">
        <div class = "title"> タイトル：C</div>
        <div class = "price"> 値段：3000円</div>
        <div class = "publisher"> 出版社：C出版</div>
    </div>
    <div class = "book">
        <div class = "title"> タイトル：html</div>
        <div class = "price"> 値段：4000円</div>
        <div class = "publisher"> 出版社：html出版</div>
    </div>
</div >"""

soup = BeautifulSoup(html, "html.parser")

book_list = soup.find_all("div", class_="book")
for book in book_list:
    print(book.find("div", class_="title").text)
  　print(book.find("div", class_="price").text)

ご確認のほど、よろしくお願いいたします。????‍♂️

Comments

[reha]

回答ありがとうございます。

[退会済みユーザー]

解決してよかったです。
また困ったこととかありましたら、気軽にご相談ください〜

[reha]

ありがとうございます！

Answer 2

以下のようにします。

>>> book_list = soup.find_all("div", class_="book")
>>> for book in book_list:
...     title = book.find("div", class_="title")
...     print(title)
...
<div class="title">タイトル：python</div>
<div class="title">タイトル：Java</div>
<div class="title">タイトル：C</div>
<div class="title">タイトル：html</div>

book_listはbs4.element.ResultSet型のオブジェクトでイテレータを生成しますので、こういう使い方になります。

Comments

[reha]

回答ありがとうございます。