楽天ブックスからPythonのseleniumを使ってランキング情報を抽出

Question

前提・実現したいこと

楽天ブックスのランキングから順位、タイトル、価格、URLを取得するコードを作成したいと思っています。１位の情報は取得することができるのですが、２位以下の情報を取得することができません。

該当のソースコード

import sys
import time

from selenium import webdriver

def main():

    driver = webdriver.Chrome('PATH')
    driver.set_window_size(800,600)#横幅800,縦幅600

    navigate(driver)
    posts = scrape_posts(driver)#文章コンテンツのリストを取得する

    for post in posts:
        print(post)
    driver.quit()  # ブラウザーを終了する。


def navigate(driver):
    '''
    目的のページを開く
    '''
    print('Navigating...',file=sys.stderr)
    driver.get('https://books.rakuten.co.jp/book/?l-id=header-navi-book')
    assert '楽天ブックス' in driver.title




def scrape_posts(driver):

    posts = []

    for a in driver.find_elements_by_css_selector('ol'):

        posts.append({
            'rank': a.find_element_by_css_selector('b').text,
            'title': a.find_element_by_css_selector('dt > a').text,
            'value': a.find_element_by_css_selector('p.price').text,
            'url': a.find_elements_by_css_selector('a')[0].get_attribute('href'),
        })

    return posts

if __name__ == '__main__':
    main()

#1位
#ランキング
#extra > div:nth-child(5) > ol > li:nth-child(1) > b
#URL、タイトル
#extra > div:nth-child(5) > ol > li:nth-child(1) > dl > dt > a
#価格
#extra > div:nth-child(5) > ol > li:nth-child(1) > dl > dt > p.price

#2位
#ランキング
#extra > div:nth-child(5) > ol > li:nth-child(2) > b
#URL、タイトル
#extra > div:nth-child(5) > ol > li:nth-child(2) > dl > dt > a
#価格
#extra > div:nth-child(5) > ol > li:nth-child(2) > dl > dt > p.price

実行結果

DevTools listening on ws://127.0.0.1:61750/devtools/browser/217d46f1-b992-42ae-9e1a-35f93f8674ed
Navigating...
{'rank': '1', 'title': 'こども六法', 'value': '1,320円（税込）', 'url': 'https://books.rakuten.co.jp/rb/15873916/?l-id=r-rank1-1'}

試したこと

driver.execute_script('scroll(0,document.body.scrollHeight)')

上記のコードでスクロールして取得しようとしたのですが結果は変わりませんでした。
どのようにすれば2位以下の情報を取得することができるのかご教授頂けると幸いです。

Answer 1

for a in driver.find_elements_by_css_selector('ol'):

for a in driver.find_elements_by_css_selector('ol > li'):では？

Comments

[_eito_]

ご指摘いただいたコードで抽出することができました!
しかしolだけではなぜだめなのでしょうか?

[otn]

olの中にliがたくさんあります。olは1つです。
find_elements はその中の指定要素全部のリストを返しますが、find_element は指定要素の最初の物だけを返します。
olに対してfind_element すると、olの中にある指定要素の１つめだけが得られます。

[_eito_]

わかりやすい回答ありがとうございました