スクレイピングでクリックしないと出てこないタグの指定方法について

Question

前提・実現したいこと

seleniumとbeautifulsoupを併用してスクレイピングを行っております。
クリックして名前が表示される箇所からスクレイピングしたいのですが、
うまく出来ずに悩んでおります。

試したこと

# pass
driver = webdriver.Chrome(<pass省略>)

# open
driver = webdriver.Chrome()

# get
driver.get('https://www.ktm.com/jp/')

# get HTML
html = driver.page_source

# close 
driver.close()

# BeautifulSoup
soup = BeautifulSoup(html, 'html.parser')

# tag
t = soup.find_all(class_ = 'canvas')

やりたいこと

elementsに<a class="roman-nav" href="/jp/mx/450-sx-f-herlings-replica/">450 SX-F Herlings Replica</a>というのが現れるため、タグについてのテキスト取得で名前を取得すればよいと考えておりましたが、tには現れてきませんでした。

替わりにjsonのような形式で名前が現れてきまして、孫オブジェクトの "name": の位置に取得したい名前があることがわかりました。

この名前を取得するにはどのように操作したらよいでしょうか。

よろしくお願い致します。

環境

python3.6.5
（anacondaにて構築）

Answer 1

該当URLを張ってください。実際に見た方が早いです。
いまいち質問内容が要領を得ていませんが、推測で回答します。

「クリックしないと出てこない」っていうのは、display:none;になっているのですか？それとも、Ajaxか何かで動的に表示されるのですか？もし前者なら、何も考えずに取得できるはずです。後者なら、seleniumにクリックさせて、webdriverwaitを使って、特定の要素が現れるのを待ちましょう。

Comments

[mi2]

ありがとうございます。

[yamato_user]

後者ですね。seleniumにクリックさせて、webdriverwaitを使って、特定の要素が現れるのを待ちましょう。その後、通常の指定方法で指定できます。

[otolab]

html = driver.page_source
でコードだけ取得しているような気がするのですが、javascriptで動的に作成されるDOMの要素は入ってますかね？
BeautifulSoupはjavascriptを考慮しない静的な解析しかできないはずなので、基本的にこのケースでの利用は不適当な気がします。