seleniumとpythonを用いて要素を見つけたいです。

Question

CSVをダウンロードし、データを集める。

リンク内容の中から、統計年月を指定し(年内の累計)、検索を押し、CSVをダウンロード。それをすべての年分収集したいと考えています。まずそれは現実的に可能でしょうか？

ここでは特に画面表示、プルダウンリストの選択について教えていただきたいです。

発生している問題・エラーメッセージ

seleniumを使用し、プルダウンを特定、選択したいです。画面を開くところまではいきます。6行目以降に問題があるようです。特に要素の特定に失敗しているようです。

DevTools listening on ws://127.0.0.1:53447/devtools/browser/99d87863-8f5d-4cca-9d26-ce8e61c2bdf6
Traceback (most recent call last):
  File "intstatic.py", line 8, in <module>
    date_select_element = Select(way)
  File "C:\Users\aaa\Anaconda3\lib\site-packages\selenium\webdriver\support\select.py", line 36, in __init__
    if webelement.tag_name.lower() != "select":
AttributeError: 'list' object has no attribute '

該当のソースコード

import webbrowser
from selenium import webdriver
from selenium.webdriver.support.select import Select

browser=webdriver.Chrome("c:/Users/Kazu/chromedriver.exe")
browser.get("https://www.customs.go.jp/toukei/srch/index.htm?M=23&P=0");
way = browser.find_elements_by_name("LstYMType");
date_select_element = Select(way)
date_select_element.select_by_value("年内の累計")

Answer 1

find_elements_by_nameなので、name属性がLstYMTypeの物をDOMから全て取得していて、
それをリストにしたものが変数wayに入っています。
find_element_by_nameにしてあげましょう。

---

それは現実的に可能でしょうか？

可能です。

おおよそ以下のようなプログラムになります。
あえてコメントを書かないのでどうなっているのか調べてみてください。

from time import sleep

# 中略

browser.switch_to.frame(browser.find_element_by_name('FR_M_INFO'))
browser.switch_to.frame(browser.find_element_by_name('FR_DISP'))
Select(browser.find_element_by_name('LstYMType')).select_by_visible_text('年内の累計')
Select(browser.find_element_by_name('LstYear')).select_by_visible_text('2018')
Select(browser.find_element_by_name('LstMonth')).select_by_visible_text('3')
Select(browser.find_element_by_name('LstCountryType')).select_by_visible_text('地理圏指定')
sleep(3)
Select(browser.find_element_by_name('LstGArea')).select_by_visible_text('北米')
browser.find_element_by_xpath('//input[@value=" 検  索 "]').click()
sleep(5)
browser.switch_to.default_content()
browser.switch_to.frame(browser.find_element_by_name('FR_M_INFO'))
browser.find_element_by_name('dl').click()
sleep(10)
browser.quit()

Comments

[退会済みユーザー]

ご回答ありがとうございます。自分なりにいろいろいじってみたのですが、うまくいかなかったのでヒントをいただきたいです。自分で調べて打ち込んだway = browser.find_elements_by_name("LstYMType");
date_select_element = Select(way)
date_select_element.select_by_value("年内の累計")
でも
Select(browser.find_element_by_name('LstYMType')).select_by_visible_text('年内の累計')
でもChromeが表示された後、プルダウンリストの表示を変えることができていないようです。文そのものに間違いがあるようにはどうしても思えません。もっと良い改善方法はあるでしょうか？

File "C:\Users\XXX\Anaconda3\lib\site-packages\selenium\webdriver\remote\webdriver.py", line 496, in find_element_by_name
return self.find_element(by=By.NAME, value=name)
File "C:\Users\XXX\Anaconda3\lib\site-packages\selenium\webdriver\remote\webdriver.py", line 978, in find_element
'value': value})['value']
File "C:\Users\XXX\Anaconda3\lib\site-packages\selenium\webdriver\remote\webdriver.py", line 321, in execute
self.error_handler.check_response(response)
File "C:\Users\XXX\Anaconda3\lib\site-packages\selenium\webdriver\remote\errorhandler.py", line 242, in check_response
raise exception_class(message, screen, stacktrace)
selenium.common.exceptions.NoSuchElementException: Message: no such element: Unable to locate element: {"method":"css selector","selector":"[name="LstYMType"]"}

これはAnaconda側の問題でしょうか？

[shirai]

出ているエラーがNoSuchElementExceptionなので考えられる事象が2つあります。

1:
browser.switch_to.frame(browser.find_element_by_name('FR_M_INFO'))
browser.switch_to.frame(browser.find_element_by_name('FR_DISP'))
の2行は入れていますか？

2:
getでページにアクセスした後に10秒ほどsleepしてみてください。

[退会済みユーザー]

丁寧にご回答いただきありがとうございました。何とかダウンロードすることができ、pythonの便利さに少し気づけたような気がします。またどうかよろしくお願いいたします。