スクレイピングでclassのない各div毎のデータを取得しcsvに落とし込みたい

Question

現在スクレイピングでとあるサイトデータを取得しております。
各取得したデータをcsvに入れ込みたいのですが、以下のhtmlにおいて課題を解決できずにおります。

<div class="cXedhc">
　<div class="dbg0pd" aria-level="3" role="heading">
　　　<div>株式会社ABC<wbr>協会</div>
　　</div><span class="rllt__details lqhpac">
　　<div>コンサルティングサービス</div>
　　<div><span>沖縄県那覇市</span></div>
　　<div><span>00-0000-0000</span></div>
　　<div></div></span>
　</div>

上記のようなhtmlがあり、住所と電話番号を取得したいのですが、

classが存在しないため、データをそれぞれで取得することができなくなっております。

other = index.find("div",{"class","cXedhc"})

のような形であれば取得出来るのですが、それぞれを取得する良い方法はないでしょうか？

よろしくお願い致します。

Comments

[otn]

おそらく他にも同列のデータがたくさんあるのでしょうから、それらを眺めて、どういうルールで抽出するかを決めるしか無いですね。

Answer 1

「それぞれを取得する」という意味がわかりづらいです。
・このhtmlからdiv内のテキストをそれぞれ取りたいだけなら下記コードで良いかと。
・これと似たような構造のものがたくさんあって、その中からこのテキストは電話番号、このテキストは住所というのを読み取りたいというのでしたら話は別です。順番などが固定化されてればいいですが、そうでなければ正規表現の出番になります。

from bs4 import BeautifulSoup

html = """
<div class="cXedhc">
　  <div class="dbg0pd" aria-level="3" role="heading">
　　    <div>株式会社ABC<wbr>協会</div>
　　</div>
    <span class="rllt__details lqhpac">
    　　<div>コンサルティングサービス</div>
    　　<div><span>沖縄県那覇市</span></div>
    　　<div><span>00-0000-0000</span></div>
    　　<div></div>
    </span>
</div>
"""
soup = BeautifulSoup(html, "html.parser")
other = soup.find("span",{"class","rllt__details lqhpac"})
for div in other.find_all("div"):
    print(div.get_text())
# コンサルティングサービス
# 沖縄県那覇市
# 00-0000-0000