表示/非表示が切り替わるtdの値も一緒にスクレイピングしたい。

Question

■やりたいこと
pythonとseleniumで、
下記HTMLタグがあり、下記pythonコードで商品名、価格をスクレイピングしたかったのですが、価格情報が入ってこないのです。

自分で調べてなんとなくわかったことは、

①HPはjavascript動作しており、商品名「りんごやみかん」の横に、表示ボタンがあり、そのボタンをクリックすると、値段の列(2行目のtd)が表示される動作になっていました。

②HTMLタグを確認したところ、値段の<td>に「style="display: none;」が入っていました。このdisplayのnoneを①のjavascriptのボタンで切り替えて、表示/非表示を切り替えているんだと思います。ただ、セレニウムを起動させて、タグ情報がどこまでトレイルのかを確認したところ、下記HTMLのように価格のtd情報をまで抜けているようなので、noneのせいで情報を引っ張ってこれてないのだと思っているのですが。

商品名、価格情報を抜く方法をお分かりの方がおられましたらご教示お願いできないでしょうか。
ちなみに商品数は100ぐらいあるため、商品数は2個にしております。

driver = webdriver.Chrome()
driver.get('URL')

#↓投稿時に間違ってました
##result=driver.find_elements_by_xpath("//*[@id='search-result-area']")
result=driver.find_elements_by_xpath("//*[@id='ida']/tbody/tr/td") ←修正しました。

#要素数ループさせて中身を確認する
kaisu=len(result)

for kakunin in kaisu:
 	print(kakunin,"の回数目確認")	
 	print(f'{result[kakunin].text = }')

<table id="ida" class="igsv-table dataTable no-footer dtr-inline collapsed" lang="ja" style="width: 600px;" role="grid" aria-describedby="id_info">`
	<thead>
		<tr id="ida-r-1" class="r-1 odd" role="row">
			<th class="col-1 odd sorting_asc" tabindex="0" aria-controls="ida" rowspan="1" colspan="1" style="width: 520px;">
				<div>商品名</div>
			</th>

			<th class="col-2 even sorting" tabindex="0" aria-controls="ida" rowspan="1" colspan="1" style="width: 80px;">
				<div>値段</div>
			</th>
		</tr>
	</thead>

	<tbody>
		<tr id="ida-r-19" class="r-19 odd" role="row">
			<td class="col-1 odd sorting_1" tabindex="0">りんご</td>
			<td class="col-2 even" style="display: none;">¥300</td>
		</tr>

		<tr id="ida-r-18" class="r-18 even" role="row">
			<td class="col-1 odd sorting_1" tabindex="0">みかん</td>
			<td class="col-2 even" style="display: none;">¥100</td>
		</tr>

	</tbody>
</table>

Answer 1

JavaScriptで対象要素を特定する必要がありますが、出来ます。サンプルですが、

foo = driver.execute_script("return document.querySelector('#foo').textContent")

CSSセレクターを「何番目のtd」とか動的に組み立てる必要がありそうですね。

別案としては、driver.page_sourceをBeautifulSoup等で解析する。

Comments

[otn]

必要要素をループして全部取得するような長いJavaScriptにして、JSON形式で return する手もありますね。

[menume]

ご教示ありがとうございます。
＞CSSセレクターを「何番目のtd」とか動的に組み立てる必要がありそうですね。
そうなんですよね。それをしてしまうとおっしゃられるように、ループで回す必要が出てきそうなので、さらにわからなくなってしまったので。

＞別案としては、driver.page_sourceをBeautifulSoup等で解析する。
BeautifulSoupってseleniumといっしょに使えるんですか。
BeautifulSoupは、まったくわかってないので今のところ理解が追い付いていないです。

すみません。

[otn]

> BeautifulSoupってseleniumといっしょに使えるんですか。
BeautifulSoupは、文字列になったHTMLやXMLを解析するツールなので、問題なく使えます。

JavaScriptでのプログラミング経験があれば、コメントに書いた方法が良いと思いますが、無いならBeautifulSoupでしょうか。

[menume]

BeautifulSoupを理解して、ソースを書き直すのに時間がかかりそうな状況です。
もう少し頑張ってみます。