CSSセレクターの書き換え

Question

動的サイトのスクレイピングをしているのですが取得したい情報のクラス名がページが変わるごとに変わってしまうためCSSセレクターを使いスクレイピングをしようかと思っております。

しかし、CSSセレクターを取得したはいいものの、そのCSSセレクターを全てのクラスに反映させ情報を取得するために自分で書き換えをしようとしているのですがどこをどう書き換えていいかわからず困っているのでお力を貸していただきたいです。

使用したコードが下記のコードです。

soup = BeautifulSoup(driver.page_source,"html.parser")
menu_selector = "#wrapper > main > div:nth-child(4) > ul > li"
menu_selector = "ul > li > div"
menu = soup.select(menu_selector)
print(menu)

上記のコードで取得した値の一部が以下になります。

[<div class="au cn n3 b5" tabindex="0"><div class="b0 c6 n4 af aj n5 n6"><div class="au cn 
av"><div><h4 class="b8 b9 by as au aw"><div class="ic id n8 aj">いくら丼（並盛）Salmon Caviar 
Rice Bowl</div></h4><div><div class="bw bx by gl">天然大粒いくらをたっぷり堪能できる一品です。並盛の 
3倍のいくらが乗った、"豪快盛"も登場！いくらを口いっぱいに頬張れば、プチプチとした食感を贅沢にお楽しみいただけ 
ます。</div></div><div class="na gn au"><div class="b8 b9 by as">￥1,100</div></div></div> 
<div class="m7 nb cp"><img alt="いくら丼（並盛）Salmon Caviar Rice Bowl" aria-hidden="true" 
class="d4 m7 nb h9 nd ne cp" src="https://d1ralsognjng37.cloudfront.net/958d0bd2-191a-4b8c- 
a434-10c651e3567d.jpeg"/></div></div></div></div>, <div class="au cn n3 b5" tabindex="0"> 
<div class="b0 c6 n4 af aj n5 n6"><div class="au cn av"><div><h4 class="b8 b9 by as au aw"> 
<div class="ic id n8 aj">いくら丼（大盛）Salmon Caviar Rice Bowl（L）</div></h4><div class="c2 
ic ie id aj n9"><div class="bw bx by gl">天然大粒いくらをたっぷり堪能できる一品です。並盛の3倍のいく 
らが乗った、"豪快盛"も登場！いくらを口いっぱいに頬張れば、プチプチとした食感を贅沢にお楽しみいただけます。 
</div></div><div class="na gn au"><div class="b8 b9 by as">￥1,450</div></div></div><div 
class="m7 nb cp"><img alt="いくら丼（大盛）Salmon Caviar Rice Bowl（L）" aria-hidden="true" 
class="d4 m7 nb h9 nd ne cp" src="https://d1ralsognjng37.cloudfront.net/888d9b88-933b-4484- 
9746-80aacfe1c905.jpeg"/></div></div></div></div>, <div class="au cn n3 b5" tabindex="0"> 
<div class="b0 c6 n4 af aj n5 n6"><div class="au cn av"><div class="au cn cq n7"><h4 
class="b8 b9 by as au aw"><div class="ic id n8 aj">いくら丼（豪快盛）Salmon Caviar Rice Bowl 
（XL）</div></h4><div class="c2 ic ie id aj n9"><div class="bw bx by gl">天然大粒いくらをたっぷ 
り堪能できる一品です。並盛の3倍のいくらが乗った、"豪快盛"も登場！いくらを口いっぱいに頬張れば、プチプチとした 
食感を贅沢にお楽しみいただけます。</div></div><div class="na gn au"><div class="b8 b9 by 
as">￥2,600</div></div></div><div class="m7 nb cp"><img alt="いくら丼（豪快盛）Salmon Caviar 
Rice Bowl（XL）" aria-hidden="true" class="d4 m7 nb h9 nd ne cp" 
src="https://d1ralsognjng37.cloudfront.net/4bb9760e-e53e-4036-b8a9-c88e33ee7798.jpeg"/> 
</div></div></div></div>,

今スクレイピングしたい値は<div class="bw bx by gl">の値です。このクラスの値を取得するためにはmenu_selector = "ul > li > div"をどのように書き換えたらいいでしょうか？

よろしくお願いします。

Comments

[Lhankor_Mhy]

uber eats ですか？

普通に div.bw.bx.by.gl ではダメなのですか？

[tatsuya5.22]

ubereatsです。クラス名でも取れないことはないのですがページが変わるたびにdiv.bw.bx.by.glのクラス名が変わってしまうためCSSセレクターで情報をスクレイピング しようと考えております。

Answer 1

XPathなら

"//h4/../div[1]/div"

でしょうか？

import lxml.html

～～ 略～～
dom = lxml.html.fromstring(driver.page_source)
lists = dom.xpath("//h4/../div[1]/div")

for menu in lists:
    print(menu.text)

これで 取得できるなら
.parent を使えばよい？

for h4 in soup.find_all('h4'):
    menu = h4.parent.select_one("div > div").text
    print(menu)

Comments

[tatsuya5.22]

.parentを使った方法を全く思いつきませんでした。無事にスクレイピングできました。お力添えありがとうございました。

Answer 2

例えば、店舗ページ内の品情報だけを取得したいという事であれば
以下で商品情報だけの要素が抽出出来ると思います。

li = soup.find_all('li')
item_list = []
for content in li:
	if content.find('h2'):	# リスト内に<h2>タグが含まれているか判定
		pass
	else:
		item_list.append(content)
		print(content.text, end='\n'+'='*20+'\n')