seleniumでページをスクロールしたい

Question

実現したいこと

ネオモバイル証券で保有している資産の管理をするため、
ポートフォリオ情報をスクレイピングしようとしています。

発生している問題・エラーメッセージ

現在11の銘柄を保有していますが、10銘柄目までしか情報が取り出せていません。

ポートフォリオのページを読み込んだ時点では１０銘柄目までしか表示されておらず、
ページを下にスクロールしていくと、自動で11銘柄目以降の情報が読み込まれるようになっています。

該当のソースコード

# ユーザーIDとパスワード
USER_ID = "###########"
USER_PW = "###########"

driver = webdriver.Chrome('chromedriver',options=options)
driver.get('https://trade.sbineomobile.co.jp/login')

driver.find_element(by=By.NAME, value="username").send_keys(USER_ID)
driver.find_element(by=By.NAME, value="password").send_keys(USER_PW)
driver.find_element(by=By.ID, value="neo-login-btn").click()
time.sleep(2)

driver.get("https://trade.sbineomobile.co.jp/account/portfolio")
time.sleep(2)

driver.find_element_by_tag_name('body').send_keys(Keys.END)
driver.find_element(by=By.TAG_NAME, value="sp-main").send_keys(Keys.END)

html = driver.page_source
soup = BeautifulSoup(html, "html.parser")

table = soup.findAll("table")
df_table = pd.read_html(str(table))

#table数（保持銘柄数）
tableno = len(df_table)
tableno

#出力結果
#10

試したこと

色々調べてみましたが、答えに辿り着くことができませんでした。
お知恵をお貸しいただけると幸いです。

補足情報（FW/ツールのバージョンなど）

Google Colab上で実行しています。

Answer 1

スクロールすれば自動で１１銘柄目以降の情報が表示されるはずなのですが、この方法は諦めて
ページの下部にある「もっと見る」のボタンをクリックするように下記を追加したら解決しました。
将来的に２０銘柄以上となった際は、２１銘柄目以降の情報を表示させるために再度「もっと見る」の
ボタンを押す動作を繰り返さないといけないですが、直近でその見込みはないので、現時点ではこれで必要な情報は得られます。

追加したコード
driver.find_element(by=By.CLASS_NAME, value="more").click()

お知恵をお貸しいただいた皆様ありがとうございました。

Answer 2

画面をスクロールさせるjavascriptを実行するのが簡単です。

driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")

参考：https://stackoverflow.com/questions/20986631

PAGE_DOWN や END のキーを送信するのでも良さそうです。 (質問のコードにEND送信入っているの見れていませんでした)

Comments

[puertero]

実はこの方法も以前試していたのですが、うまくいきませんでした。。
ご回答ありがとうございます。

Answer 3

seleniumのスクロールは以下のような感じで出来ないですかね。
取得したelementsの最後までスクロールします。

    actions = webdriver.ActionChains(driver)
    actions.move_to_element(elements[len(elements) - 1]).perform()

Comments

[puertero]

回答ありがとうございます。
elementsはどのように定義されていますか？

[laplade]

例えばソースにあるdriver.find_element_by_tag_name('body')で使ってるものをdriver.find_elements_by_tag_name('body')のように複数形にすると取れます