前提・実現したいこと
PythonでのWebスクレイピングをしようとしています。
Selenium4を使って、HTML要素を取得したいと思っています。
スクショのページの、コピーボタンのところを取得したいです。
URL:
リンク内容
下記の要素を、クラス名で取得したいと思うのですが、どうにもうまくいきません。
<button type="button" class="button KifCopyButton is-small"><!----><span>コピー</span><!----></button>
クラス指定が複数あるのがはまっている点です。
list1 = driver.find_elements(By.CLASS_NAME, 'button')
では目的以外のボタンも取得されてしまうため、クラスは複数指定したいです。
具体的には下記のコードを全て試しましたが、いずれもダメでした。
python3
1 2list1 = driver.find_elements(By.CLASS_NAME, ".button.KifCopyButton.is-small") 3list1 = driver.find_element(By.CSS_SELECTOR, '.button KifCopyButton is-small') 4list1 = driver.find_element_by_css_selector('.button.KifCopyButton.is-small') 5
また、
python3
1list1 = driver.find_elements(By.CSS_SELECTOR, '.button.KifCopyButton.is-small')
とすると、例外発生はしないものの、リストの要素数が0でした。
発生している問題・エラーメッセージ
list1 = driver.find_element_by_css_selector('.button.KifCopyButton.is-small') Traceback (most recent call last): File "C:/Users/circu/PycharmProjects/scrapingProject/test.py", line 31, in <module> list1 = driver.find_element_by_css_selector('.button.KifCopyButton.is-small') File "C:\Users\circu\PycharmProjects\scrapingProject\venv\lib\site-packages\selenium\webdriver\remote\webdriver.py", line 808, in find_element_by_css_selector return self.find_element(by=By.CSS_SELECTOR, value=css_selector) File "C:\Users\circu\PycharmProjects\scrapingProject\venv\lib\site-packages\selenium\webdriver\remote\webdriver.py", line 1244, in find_element return self.execute(Command.FIND_ELEMENT, { File "C:\Users\circu\PycharmProjects\scrapingProject\venv\lib\site-packages\selenium\webdriver\remote\webdriver.py", line 424, in execute self.error_handler.check_response(response) File "C:\Users\circu\PycharmProjects\scrapingProject\venv\lib\site-packages\selenium\webdriver\remote\errorhandler.py", line 247, in check_response raise exception_class(message, screen, stacktrace) selenium.common.exceptions.NoSuchElementException: Message: no such element: Unable to locate element: {"method":"css selector","selector":".button.KifCopyButton.is-small"} (Session info: chrome=97.0.4692.71) Stacktrace: Backtrace: Ordinal0 [0x0123FDC3+2555331] Ordinal0 [0x011D77F1+2127857] Ordinal0 [0x010D2E08+1060360] Ordinal0 [0x010FE49E+1238174] Ordinal0 [0x010FE69B+1238683] Ordinal0 [0x01129252+1413714] Ordinal0 [0x01117B54+1342292] Ordinal0 [0x011275FA+1406458] Ordinal0 [0x01117976+1341814] Ordinal0 [0x010F36B6+1193654] Ordinal0 [0x010F4546+1197382] GetHandleVerifier [0x013D9622+1619522] GetHandleVerifier [0x0148882C+2336844] GetHandleVerifier [0x012D23E1+541697] GetHandleVerifier [0x012D1443+537699] Ordinal0 [0x011DD18E+2150798] Ordinal0 [0x011E1518+2168088] Ordinal0 [0x011E1660+2168416] Ordinal0 [0x011EB330+2208560] BaseThreadInitThunk [0x777DFA29+25] RtlGetAppContainerNamedObjectPath [0x77927A9E+286] RtlGetAppContainerNamedObjectPath [0x77927A6E+238]
該当のソースコード
全ソースコード
python3
1from selenium import webdriver 2from selenium.webdriver.common.by import By 3from time import sleep 4# import pyperclip 5 6import settings 7 8driver = webdriver.Chrome(settings.web_driver_dir) 9driver.get(settings.target_url) 10 11search_bar = driver.find_element(By.ID, 'query') 12search_bar.send_keys(settings.user_name) 13 14 15# list1 = driver.find_elements(By.CLASS_NAME, ".button.KifCopyButton.is-small") 16# list1 = driver.find_elements(By.CLASS_NAME, 'button') 17list1 = driver.find_element(By.CSS_SELECTOR, '.button KifCopyButton is-small') 18# list1 = driver.find_element_by_css_selector('.button.KifCopyButton.is-small') 19print(list1) 20 21for element in list1: 22 print(element.text) 23 24 # print(element.get_property()) 25 26driver.quit() 27
settings.py
python3
1 2target_url: str = 'https://www.shogi-extend.com/swars/search' 3user_name = 'makoto_satoh' 4web_driver_dir = r'C:\Users\ユーザー名\PycharmProjects\scrapingProject\chromedriver.exe' 5 6
補足情報(FW/ツールのバージョンなど)
Pycharm
Python3
Selenium4
Chrome97
変数名がテキトーなのはご容赦ください。
よろしくお願い致します。