Python スクレイピング時に要素が取得できない(Selenium)

Question

実現したいこと

スクレイピングの練習でGithubからトレンドになっている情報を取得し、CSVに保存しようとしていますイメージ説明

発生している問題・分からないこと

上の画像でプログラミング言語を表示しているテキスト部分を取得しようしているのですが、要素が取得できず、空のデータが入ってしまいます。

リスト型でまとめて要素を取得して、テキストデータを抽出しようとしたのですが、データが入っていないのでIndexError: list index out of rangeになり

該当のソースコード

import time
import pandas as pd
from selenium import webdriver
from selenium.webdriver.common.by import By
from webdriver_manager.chrome import ChromeDriverManager
from pathlib import Path

SLEEP_TIME = 3
CSV_NAME = Path("./output")
CSV_NAME.mkdir(exist_ok=True)
CSV_NAME = "./output/github_ranking.csv"

if __name__ == '__main__':
    try:
        driver = webdriver.Chrome()
        url = "https://github.com/trending"
        driver.get(url)
        time.sleep(SLEEP_TIME)

        result = list()
        box_row_elements = driver.find_elements(By.CLASS_NAME, 'Box-row')

        for i_box in box_row_elements:
            row_data = dict()
            row_data["title"] = i_box.find_element(By.TAG_NAME, 'h2').text
            row_data["url"] = i_box.find_element(By.TAG_NAME, 'h2').find_element(By.CLASS_NAME, 'Link').get_attribute("href")
            lang_elements = i_box.find_elements(By.CSS_SELECTOR, 'div.f6 color-fg-muted mt-2 > span.d-inline-block ml-0 mr-3')

            row_data["lang"] = lang_elements[1].text
　　　　　↑IndexErrorが発生

            result.append(row_data)

            pd.DataFrame(result).to_csv(CSV_NAME)

    finally:
        driver.quit()

試したこと・調べたこと

• teratailやGoogle等で検索した
• ソースコードを自分なりに変更した
• 知人に聞いた
• その他

上記の詳細・結果

「Python selenium find_element 要素取得できない」など検索し、要素がまだ表示されていないかもしれないので数秒待機させたり、画面を大きくしてみたりしましたが上手く行きませんでした。
他にもiframeやjavaScriptの要素の可能性もあったので確認しましたが、違うっぽい？

補足

初心者で拙い文章で申し訳ありませんが、ご回答いただけるとありがたいです。

Comments

[otn]

見つからないという driver.find～～ の直前で print(driver.page_source)してみると、原因が切り分けられると思います。そこに無いものは取れません。

[otn]

失礼しました。最初の find_elements の事かと思ったけど、2つめの find_elements だったんですね。
( for の中は全部 find_element かと思ってよく見てませんでした）
> 「Python selenium find_element 要素取得できない」など検索し
検索するとお書きのような原因が並べられていると思いますが、
実際には取得できない原因の大部分は「指定の誤り」でしょうね。

[fukumon]

ご指摘ありがとうございます
おっしゃる通り指定方法が間違えていました
スペースを「.」に置き換えることを知らずに色々試してみましたが初歩に躓いていました

[otn]

要素を指定するには、極単純なケースを除き、
・CSSセレクターの知識
・XPathの知識
のすくなくとも一方が必要です。
> スペースを「.」に置き換えることを知らずに
特定の前提条件の下での対応方法だけを記憶してもあまり意味が無いです。

Answer 1

クラス名にスペースが含まれる場合は、スペースを . で置き換えます。(f6 color-fg-muted mt-2 => f6.color-fg-muted.mt-2) また、言語タグが無い場合がありますので(例えば ashishps1 / awesome-system-design-resources)、その場合は空欄にします。

        for i_box in box_row_elements:
            row_data = dict()
            row_data["title"] = i_box.find_element(By.TAG_NAME, 'h2').text
            row_data["url"] = i_box.find_element(By.TAG_NAME, 'h2').find_element(By.CLASS_NAME, 'Link').get_attribute("href")
            lang_elements = i_box.find_elements(By.CSS_SELECTOR, 'div.f6.color-fg-muted.mt-2 > span.d-inline-block.ml-0.mr-3')
            row_data["lang"] = lang_elements[0].text if lang_elements else ""
            result.append(row_data)

        pd.DataFrame(result).to_csv(CSV_NAME)
    finally:
        driver.quit()

github_ranking.csv

,title,url,lang
0,WongKinYiu / yolov9,https://github.com/WongKinYiu/yolov9,Python
1,massgravel / Microsoft-Activation-Scripts,https://github.com/massgravel/Microsoft-Activation-Scripts,Batchfile
2,ollama / ollama,https://github.com/ollama/ollama,Go
3,vvbbnn00 / WARP-Clash-API,https://github.com/vvbbnn00/WARP-Clash-API,Python
4,qarmin / czkawka,https://github.com/qarmin/czkawka,Rust
5,mttaggart / I-S00N,https://github.com/mttaggart/I-S00N,
6,MHSanaei / 3x-ui,https://github.com/MHSanaei/3x-ui,JavaScript
7,jellyfin / jellyfin,https://github.com/jellyfin/jellyfin,C#
8,google / gemma.cpp,https://github.com/google/gemma.cpp,C++
9,EbookFoundation / free-programming-books,https://github.com/EbookFoundation/free-programming-books,
10,public-apis / public-apis,https://github.com/public-apis/public-apis,Python
11,gunnarmorling / 1brc,https://github.com/gunnarmorling/1brc,Java
12,KillianLucas / open-interpreter,https://github.com/KillianLucas/open-interpreter,Python
13,ossu / computer-science,https://github.com/ossu/computer-science,
14,mouredev / Hello-Python,https://github.com/mouredev/Hello-Python,Python
15,ashishps1 / awesome-system-design-resources,https://github.com/ashishps1/awesome-system-design-resources,
16,state-spaces / mamba,https://github.com/state-spaces/mamba,Python
17,laurent22 / joplin,https://github.com/laurent22/joplin,TypeScript
18,OpenCodeInterpreter / OpenCodeInterpreter,https://github.com/OpenCodeInterpreter/OpenCodeInterpreter,Python
19,zksync / credo,https://github.com/zksync/credo,
20,google / highway,https://github.com/google/highway,C++
21,Azure / PyRIT,https://github.com/Azure/PyRIT,Python
22,huntabyte / shadcn-svelte,https://github.com/huntabyte/shadcn-svelte,Svelte
23,Pythagora-io / gpt-pilot,https://github.com/Pythagora-io/gpt-pilot,Python
24,glfw / glfw,https://github.com/glfw/glfw,C

Comments

[fukumon]

回答ありがとうございます！！
クラス名にスペースがある場合は「.」で置き換えると上手く行きました

また、自分が取得しようとしていたタグが他の要素にないことを見逃していたので対応策も合わせて教えていただきありがとうございます