seleniumでプルダウンが選択できない

Question

##やりたいこと
このサイトをseleniumで自動選択すること、その情報のスクレイピングの仕方を教えていただけると幸いです。
##やったこと
このサイトのselect filtersをseleniumで選び、情報をまとめる予定でしたが、html要素が隠されているみたいで情報の選択ができませんでした。
また、Beautifulsoupで取得したHTMLもディベロッパーツールで見るページのHTMLに比べ表示されてないものが多かったです。

Answer 1

# サイトにアクセス
from selenium import webdriver
from time import sleep

driver = webdriver.Chrome()
driver.get('https://zerospoker.com/preflop/')

# iframe内に入る
driver.switch_to.frame(driver.find_element_by_tag_name('iframe'))
sleep (3)

driver.execute_script("document.querySelector('#gameFilter > div.customDrop.bord_2.justifyBetween.p_5_10 > i').click();")
driver.execute_script("document.querySelector('#gameFilter > div.optionsBlock > div').click();")

driver.execute_script("document.querySelector('#casinoFilter > div > i').click();")
driver.execute_script("document.querySelector('#casinoFilter > div.optionsBlock > div').click();")

driver.execute_script("document.querySelector('#stakeFilter > div.customDrop.bord_2.justifyBetween.p_5_10 > i').click();")
driver.execute_script("let xpath = '//*[contains(text(), \"MICRO STAKES\")]';var nodesSnapshot = document.evaluate(xpath,document,null,XPathResult.ORDERED_NODE_SNAPSHOT_TYPE,null);nodesSnapshot.snapshotItem(0).click();")

driver.execute_script("document.querySelector('#playerFilter > div > i').click();")
driver.execute_script("let xpath = '//*[contains(text(), \"6-MAX\")]';var nodesSnapshot = document.evaluate(xpath,document,null,XPathResult.ORDERED_NODE_SNAPSHOT_TYPE,null);nodesSnapshot.snapshotItem(0).click();")

Comments

[oasis_red]

これでできました！かいとうありがとうございました！

Answer 2

そのプルダウンはiframe内にあるので、選択が難しいと思います。

Answer 3

どの情報が欲しいのか分かりませんが、
ざっと見るに日本語だろうがスペイン語だろうが取得するデータは変わらないように見えます。

BeautifulSoupもrequestsも要らないのでSeleniumを利用してください。

---

ポイントは3つあります。

1. メインデータがiframe内にあるのでswitchしてください。

2. Selectタグではないので地道にクリックしてやりましょう。

3. 頼りになるid属性やclass属性が乏しいのでxpathをふんだんに活用しましょう。

以下プログラム例です。
検証してないので動かなかったらすみません。

# サイトにアクセス
driver.get('https://zerospoker.com/preflop/')

# iframe内に入る
driver.switch_to.frame(driver.find_element_by_tag_name('iframe'))

# GAMEを選択
driver.execute_script('document.querySelector("gameFilter i").click()')
driver.find_elements_by_xpath('//div[contains(text(), "CASH GAMES")]')[-1].click()

# CASINOを選択
driver.execute_script('document.querySelector("casinoFilter i").click()')
driver.find_elements_by_xpath('//div[contains(text(), "ALL CASINOS")]')[-1].click()

# STAKEを選択
driver.execute_script('document.querySelector("stakeFilter i").click()')
driver.find_elements_by_xpath('//div[contains(text(), "MICRO STAKES")]')[-1].click()

# PLAYERSを選択
driver.execute_script('document.querySelector("playerFilter i").click()')
driver.find_elements_by_xpath('//div[contains(text(), "6-MAX")]')[-1].click()

# 3BET / CALLを選択
driver.find_element_by_xpath('//span[text()="3BET / CALL"]/following-sibling::spqn[1]/i').click()

# SMALL BLINDを選択
driver.find_element_by_xpath('//span[text()="SMALL BLIND"]/..').click()

# SB VS COを選択
driver.find_elements_by_xpath('//div[contains(text(), "SB VS CO")]')[-1].click()

# 3Bet - 5Bet (All in)となっているデータを取得する
# 3Bet - 5Bet (All in)はこのサイトでは固定で色が133, 0, 0になっている模様
print([span_tag.text for span_tag in driver.find_elements_by_xpath('//p[contains(@style, "133, 0, 0")]//preceding-sibling::span[1]')]

# [AKs, A5s, A4s, Ako, KK, QQ, JJ] と出力されるはず

Comments

[oasis_red]

回答ありがとうございます。上記のコードを実行したところ、iframeに入ることはできますが、その先で
```
selenium.common.exceptions.JavascriptException: Message: javascript error: Cannot read
property 'click' of null
```
と出てしまいます。自分でも調べますが、もし原因を知っていたらご教授ください。

[shirai]

iframeに入った後sleepを入れるなどで対処できるかと思います。

seleniumはクセが強いので初級者がいきなりこの手の難関DOMに挑むのはあまり賢い選択ではないですが、
色々と試行錯誤してみてください。

[oasis_red]

回答ありがとうございます。結果sleepでは解決できなさそうなので、他の手段を調べてみようと思います。

Answer 4

html要素が隠されているみたいで情報の選択ができませんでした。

開発者ツールでも見えないのであれば、それは存在しないので、操作できません。

また、Beautifulsoupで取得したHTMLもディベロッパーツールで見るページのHTMLに比べ表示されてないものが多かったです。

BeautifulsoupはHTMLページを取得するツールじゃないので、おそらくrequestsかなにかの勘違いでしょうが、開発者ツールで表示される物は、サーバーからのHTML応答(これがrequestsで取得できる物)に対して、JavaScriptで後から追加されたものを含んだ物です。
Seleniumで操作するのは後者です。

Comments

[oasis_red]

回答ありがとうございました。取得したのはrequestsのまちがいでした。
seleniumで操作してから、requestsでHTMLデータを取得するというのが本質問の趣旨でした。