seleniumを使って、カードリストを順に自動取得 [スクレイピング][python][selenium]
環境
・windows10 pro
・Anconda3 jupyter lab
発生している問題・エラーメッセージ
NoSuchElementException: Message: no such element: Unable to locate element: {"method":"css selector","selector":".gFFQtS"} (Session info: chrome=89.0.4389.90)
該当のソースコード
python
1look = driver.find_element_by_css_selector('Text-jb6fqi-0') 2look.click() 3sleep(1)
試したこと
1、requestsとBeautifulsoupまたはBeautifulsoupとseleniumでページ内のhtmlを取得しようとしましたが、ページ内で検索する際に、ページ遷移をせず、その場合method=postと開発者ツールのelementに出ると思いますが、見当たらないのでこちらができませんでした
2、次に下記のように手動でxpathをひとつずつ指定して、
xpath_list= ['//*[@id="root"]/div/div[2]/div/div/div[2]/main/div/div[1]/div/div/div/div/div/div[5]/div[1]/div[2]/div[2]/span', '//*[@id="root"]/div/div[2]/div/div/div[2]/main/div/div[1]/div/div/div/div/div/div[6]/div[1]/div[2]/div[2]/span', '//*[@id="root"]/div/div[2]/div/div/div[2]/main/div/div[1]/div/div/div/div/div/div[7]/div[1]/div[2]/div[2]/span', '//*[@id="root"]/div/div[2]/div/div/div[2]/main/div/div[1]/div/div/div/div/div/div[8]/div[1]/div[2]/div[2]/span', '//*[@id="root"]/div/div[2]/div/div/div[2]/main/div/div[1]/div/div/div/div/div/div[9]/div[1]/div[2]/div[2]/span', '//*[@id="root"]/div/div[2]/div/div/div[2]/main/div/div[1]/div/div/div/div/div/div[10]/div[1]/div[2]/div[2]/span', '//*[@id="root"]/div/div[2]/div/div/div[2]/main/div/div[1]/div/div/div/div/div/div[11]/div[1]/div[2]/div[2]/span', '//*[@id="root"]/div/div[2]/div/div/div[2]/main/div/div[1]/div/div/div/div/div/div[12]/div[1]/div[2]/div[2]/span', ] for i in xpath_list: look = driver.find_element_by_xpath(i) look.click() sleep(1)
このように実行したところ上手くいきましたが手動でリスト化しなくてもページ内の「詳細を見る」ボタン部分はxpath等を自動取得するといった方法はあるのでしょうか
拙い文章ですみませんが教えていただきたいです。
補足情報(FW/ツールのバージョンなど)
回答1件
あなたの回答
tips
プレビュー
バッドをするには、ログインかつ
こちらの条件を満たす必要があります。