質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

ただいまの
回答率

89.25%

seleniumでプルダウンが選択できない

解決済

回答 4

投稿

  • 評価
  • クリップ 0
  • VIEW 160

oasis_red

score 15

やりたいこと

このサイトをseleniumで自動選択すること、その情報のスクレイピングの仕方を教えていただけると幸いです。

やったこと

このサイトのselect filtersをseleniumで選び、情報をまとめる予定でしたが、html要素が隠されているみたいで情報の選択ができませんでした。
また、Beautifulsoupで取得したHTMLもディベロッパーツールで見るページのHTMLに比べ表示されてないものが多かったです。

  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 過去に投稿した質問と同じ内容の質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

質問への追記・修正、ベストアンサー選択の依頼

  • 退会済みユーザー

    2020/05/17 09:50

    複数のユーザーから「やってほしいことだけを記載した丸投げの質問」という意見がありました
    「質問を編集する」ボタンから編集を行い、調査したこと・試したことを記入していただくと、回答が得られやすくなります。

回答 4

checkベストアンサー

+1

# サイトにアクセス
from selenium import webdriver
from time import sleep

driver = webdriver.Chrome()
driver.get('https://zerospoker.com/preflop/')

# iframe内に入る
driver.switch_to.frame(driver.find_element_by_tag_name('iframe'))
sleep (3)

driver.execute_script("document.querySelector('#gameFilter > div.customDrop.bord_2.justifyBetween.p_5_10 > i').click();")
driver.execute_script("document.querySelector('#gameFilter > div.optionsBlock > div').click();")

driver.execute_script("document.querySelector('#casinoFilter > div > i').click();")
driver.execute_script("document.querySelector('#casinoFilter > div.optionsBlock > div').click();")

driver.execute_script("document.querySelector('#stakeFilter > div.customDrop.bord_2.justifyBetween.p_5_10 > i').click();")
driver.execute_script("let xpath = '//*[contains(text(), \"MICRO STAKES\")]';var nodesSnapshot = document.evaluate(xpath,document,null,XPathResult.ORDERED_NODE_SNAPSHOT_TYPE,null);nodesSnapshot.snapshotItem(0).click();")

driver.execute_script("document.querySelector('#playerFilter > div > i').click();")
driver.execute_script("let xpath = '//*[contains(text(), \"6-MAX\")]';var nodesSnapshot = document.evaluate(xpath,document,null,XPathResult.ORDERED_NODE_SNAPSHOT_TYPE,null);nodesSnapshot.snapshotItem(0).click();")

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2020/05/23 21:19

    これでできました!かいとうありがとうございました!

    キャンセル

0

どの情報が欲しいのか分かりませんが、
ざっと見るに日本語だろうがスペイン語だろうが取得するデータは変わらないように見えます。

BeautifulSoupもrequestsも要らないのでSeleniumを利用してください。


ポイントは3つあります。

  1. メインデータがiframe内にあるのでswitchしてください。

  2. Selectタグではないので地道にクリックしてやりましょう。

  3. 頼りになるid属性やclass属性が乏しいのでxpathをふんだんに活用しましょう。

以下プログラム例です。
検証してないので動かなかったらすみません。

# サイトにアクセス
driver.get('https://zerospoker.com/preflop/')

# iframe内に入る
driver.switch_to.frame(driver.find_element_by_tag_name('iframe'))

# GAMEを選択
driver.execute_script('document.querySelector("gameFilter i").click()')
driver.find_elements_by_xpath('//div[contains(text(), "CASH GAMES")]')[-1].click()

# CASINOを選択
driver.execute_script('document.querySelector("casinoFilter i").click()')
driver.find_elements_by_xpath('//div[contains(text(), "ALL CASINOS")]')[-1].click()

# STAKEを選択
driver.execute_script('document.querySelector("stakeFilter i").click()')
driver.find_elements_by_xpath('//div[contains(text(), "MICRO STAKES")]')[-1].click()

# PLAYERSを選択
driver.execute_script('document.querySelector("playerFilter i").click()')
driver.find_elements_by_xpath('//div[contains(text(), "6-MAX")]')[-1].click()

# 3BET / CALLを選択
driver.find_element_by_xpath('//span[text()="3BET / CALL"]/following-sibling::spqn[1]/i').click()

# SMALL BLINDを選択
driver.find_element_by_xpath('//span[text()="SMALL BLIND"]/..').click()

# SB VS COを選択
driver.find_elements_by_xpath('//div[contains(text(), "SB VS CO")]')[-1].click()

# 3Bet - 5Bet (All in)となっているデータを取得する
# 3Bet - 5Bet (All in)はこのサイトでは固定で色が133, 0, 0になっている模様
print([span_tag.text for span_tag in driver.find_elements_by_xpath('//p[contains(@style, "133, 0, 0")]//preceding-sibling::span[1]')]

# [AKs, A5s, A4s, Ako, KK, QQ, JJ] と出力されるはず

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2020/05/18 12:00

    回答ありがとうございます。上記のコードを実行したところ、iframeに入ることはできますが、その先で
    ```
    selenium.common.exceptions.JavascriptException: Message: javascript error: Cannot read
    property 'click' of null
    ```
    と出てしまいます。自分でも調べますが、もし原因を知っていたらご教授ください。

    キャンセル

  • 2020/05/18 12:24

    iframeに入った後sleepを入れるなどで対処できるかと思います。

    seleniumはクセが強いので初級者がいきなりこの手の難関DOMに挑むのはあまり賢い選択ではないですが、
    色々と試行錯誤してみてください。

    キャンセル

  • 2020/05/18 20:31

    回答ありがとうございます。結果sleepでは解決できなさそうなので、他の手段を調べてみようと思います。

    キャンセル

0

そのプルダウンはiframe内にあるので、選択が難しいと思います。

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

-1

html要素が隠されているみたいで情報の選択ができませんでした。

開発者ツールでも見えないのであれば、それは存在しないので、操作できません。

また、Beautifulsoupで取得したHTMLもディベロッパーツールで見るページのHTMLに比べ表示されてないものが多かったです。 

BeautifulsoupはHTMLページを取得するツールじゃないので、おそらくrequestsかなにかの勘違いでしょうが、開発者ツールで表示される物は、サーバーからのHTML応答(これがrequestsで取得できる物)に対して、JavaScriptで後から追加されたものを含んだ物です。
Seleniumで操作するのは後者です。

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2020/05/18 12:02

    回答ありがとうございました。取得したのはrequestsのまちがいでした。
    seleniumで操作してから、requestsでHTMLデータを取得するというのが本質問の趣旨でした。

    キャンセル

15分調べてもわからないことは、teratailで質問しよう!

  • ただいまの回答率 89.25%
  • 質問をまとめることで、思考を整理して素早く解決
  • テンプレート機能で、簡単に質問をまとめられる