[Python selenium driver.find_element]全く同じコードをコンパイルしたときに起こる結果の差

Question

実現したいこと

・全く同じコードをコンパイルしたときに、結果が異なることの原因解明
・driver.find_elementを用いたURLの読込

前提

この質問の続きになります。
”[selenium]htmlの要素の指定・url取り出し・読込”
https://teratail.com/questions/jgkz1qj34loklg
※前回はdriver.find_elementについてでしたが、
今回は全く同じコードをコンパイルしたときに結果が異なることの原因追及のため、
別件として考えています。

下記のコードをコンパイルしたところ、全く同じコードでも結果に差が発生します。

①エラーが発生（高確率で発生）
②成功（指定のURLが表示される）

内容は全く変えていないつもりですが、うまくいったりいかなかったりします。
これに対して、

・このようなことは起こりうるのか？
・対策について（目的はURLの読込）

これらについてご教示いただきたいです。
よろしくお願いします。

発生している問題・エラーメッセージ

○失敗時
Traceback (most recent call last):
  File "C:\Users\○○○\Desktop\○○○\○○○\xxxxxxxx.py", line 14, in <module>
    btn1_name=driver.find_element(By.XPATH,'//*[@id="articleCommentModule"]/div/aside/div/div/div/span/a')
  File "C:\Users\○○○\AppData\Local\Programs\Python\Python311\Lib\site-packages\selenium\webdriver\remote\webdriver.py", line 738, in find_element
    return self.execute(Command.FIND_ELEMENT, {"using": by, "value": value})["value"]
  File "C:\Users\○○○\AppData\Local\Programs\Python\Python311\Lib\site-packages\selenium\webdriver\remote\webdriver.py", line 344, in execute
    self.error_handler.check_response(response)
  File "C:\Users\○○○\AppData\Local\Programs\Python\Python311\Lib\site-packages\selenium\webdriver\remote\errorhandler.py", line 229, in check_response
    raise exception_class(message, screen, stacktrace)
selenium.common.exceptions.NoSuchElementException: Message: no such element: Unable to locate element: {"method":"xpath","selector":"//*[@id="articleCommentModule"]/div/aside/div/div/div/span/a"}
  (Session info: chrome=118.0.5993.117); For documentation on this error, please visit: https://www.selenium.dev/documentation/webdriver/troubleshooting/errors#no-such-element-exception
Stacktrace:
	GetHandleVerifier [-----------------------------------]
	(No symbol) [--------------------------]
	(No symbol) [--------------------------]
	(No symbol) [--------------------------]
	(No symbol) [--------------------------]
	(No symbol) [--------------------------]
	(No symbol) [--------------------------]
	(No symbol) [--------------------------]
	(No symbol) [--------------------------]
	(No symbol) [--------------------------]
	(No symbol) [--------------------------]
	GetHandleVerifier [-------------------------+----------]
	GetHandleVerifier [-------------------------+----------]
	GetHandleVerifier [-------------------------+----------]
	GetHandleVerifier [-------------------------+----------]
	(No symbol) [--------------------------]
	(No symbol) [--------------------------]
	(No symbol) [--------------------------]
	(No symbol) [--------------------------]
	BaseThreadInitThunk [------------------------+--]
	RtlUserThreadStart [-----------------------+--]

※括弧内の数列はどのようなものかわかっていないため非公開にしました

○成功時
https://news.yahoo.co.jp/articles/0fdf20fc753a62a6c4bb4e2b4e9bd9f705124d8e/comments

該当のソースコード

from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.ui import Select
import time

driver=webdriver.Chrome() #Chromeを読み込む
driver.implicitly_wait(10) #10sまで待つ
driver.get("https://news.yahoo.co.jp/pickup/6479600") #url入力
time.sleep(3)

btn1_name=driver.find_element(By.XPATH,'//*[@id="articleCommentModule"]/div/aside/div/div/div/span/a')
url = btn1_name.get_attribute('href')
print(url)#現時点ではひとまずurlを読み込むことをゴールとして、printを使っています

試したこと

・スペルミスの確認
・スペース、改行などの再現

補足情報（FW/ツールのバージョンなど）

windows 11
IDLE Shell 3.11.5

ChromeDriver 114.0.5735.90
selenium 4.14.0

Comments

[bsdfan]

質問とは直接関係ない部分ですが、コンパイルという言葉の使い方が間違っていないでしょうか。
通常のpythonはインタプリタなので、コンパイルすることはありません。

[yuuit]

ご指摘ありがとうございます。
独学で進めているので、文言などはよくわかっていませんでした。

Answer 1

・対策について(目的はURLの読込)

「もっと見る」のリンク URL は HTML の script タグ内に JavaScript のコードとして埋め込まれています。(Server Side Rendering)

$ wget -q -O - https://news.yahoo.co.jp/pickup/6479600 | grep -Pzo '\K"commentUrl":.+?(?=,)'
"commentUrl":"/articles/0fdf20fc753a62a6c4bb4e2b4e9bd9f705124d8e/comments"

<script>window.__PRELOADED_STATE__ = {
  "userData": ..., ... "commentShort":{
    "notice": ..., ... "commentUrl":"/articles/0fdf20fc753a62a6c4bb4e2b4e9bd9f705124d8e/comments", ...}}

なので、request + BeautifulSoup を使用してもリンク URL の取得が可能です。

import json
import requests
from bs4 import BeautifulSoup
from urllib.parse import urljoin

yahoo_news_url = 'https://news.yahoo.co.jp/pickup/6479600'
res = requests.get(yahoo_news_url)
soup = BeautifulSoup(res.text, 'html.parser')

preloaded = soup.select_one('script:-soup-contains("window.__PRELOADED_STATE__")').text
json_text = preloaded.split('=', 1)[1].strip()
json_dict = json.loads(json_text)
url = json_dict['commentShort']['commentUrl']
url = urljoin(yahoo_news_url, url)

print(url)

# https://news.yahoo.co.jp/articles/0fdf20fc753a62a6c4bb4e2b4e9bd9f705124d8e/comments

Comments

[yuuit]

ソースコードの作成、誠にありがとうございます。
上記のコードで無事動作しました。
もしよければですが、10-14行目のコードについて簡単に教えていただきたいのですがよろしいでしょうか？
特にjson.loads、json_dictはネットを探してもほぼ情報が無く、どんなライブラリかわからない状態です。
重ね重ねすみません、ぜひともよろしくお願いします。

[melian]

10行目の soup.select_one() は CSS セレクタで目的の要素を取り出すメソッドです。'script:-soup-contains("window.__PRELOADED_STATE__")' は、「window.__PRELOADED_STATE__ という文字列を含む(contains) script タグ」という意味です。
11行目は、抽出した文字列(window.__PRELOADED_STATE__ = ...) を "=" で二分割して、右側の文字列を変数 json_text に代入しています。(この文字列は JSON 形式で記述されています)
12行目は JSON 形式の文字列を Python の辞書(dict)に変換しています。以下の公式ドキュメントを参照してください。

https://docs.python.org/ja/3/library/json.html#json.loads

json.loads() の説明だけを読んでもよく分からないでしょうから、このページの最初から読んでみてください。

json - JSON エンコーダおよびデコーダ
https://docs.python.org/ja/3/library/json.html
> JSON (JavaScript Object Notation) は、 RFC 7159 (RFC 4627 を obsolete) と ECMA-404 によって定義された軽量のデータ交換用のフォーマットです。 JavaScript のオブジェクトリテラル記法に由来しています

13行目は JSON形式の文字列を辞書化した json_dict から commentUrl キーの値を取り出しています。（リンクURLのパス名の部分に相当します）
14行目は、リンクURLのパス名を完全 URL に直しています。具体的には、以下の様な文字列の結合を行っています。

https://news.yahoo.co.jp/ + articles/0fdf20fc753a62a6c4bb4e2b4e9bd9f705124d8e/comments

urllib.parse.urljoin
https://docs.python.org/ja/3/library/urllib.parse.html#urllib.parse.urljoin

[yuuit]

詳細な説明、誠にありがとうございます。
まだまだ勉強が足りていなそうなので、いただいたURLの内容を読み進めてみようと思います。

[yuuit]

何度もすみません。
13行目の引数の、
"commentShort","commentUrl"の2つの値を指定した理由についてお聞きしたいです。
scriptに２つの値が埋め込まれているのは分かったのですが、コードを読んでもどうしてこの２つが必要となったのかわからない状態です。
他のサイトをスクレイピングするときにも活用したいので、考え方を教えていただけますでしょうか？
何卒よろしくお願いします。

[melian]

最初は commentUｒｌ という名前(キー)が目に付いたのです。その値をみると /article/.../comments となっているので、これだな、と。そして、JSON 構造上の親ノードのキーが commentShort になっているので、アクセスは json_dict['commentShort']['commentURL'] となるわけです。

Answer 2

同じ環境で、全く同じプログラムを続けて何度か実行して、find_elementで要素が見つかったり見つからなかったりすることはよくあります。
14行目の前に、print(driver.page_source)（ページのHTMLを出力）を入れて、find_elementを実行する直前のHTMLを確認しましょう。実行ごとに異なっているはずです。
理由は色々考えられますが、ありそうなのは、JavaScriptによるページの更新に時間が掛かっている。
原因がこれの場合は、対策としては、「その要素が表れるまで待つ」というコードにすることです。
もちろん、他の原因かも知れません。

環境が異なる場合は、全く同じプログラムを実行して異なる結果になるような要因はもっと増えます。

Comments

[yuuit]

ご回答ありがとうございます。
実際にfind_elementでHTMLを読み込んでみましたが、指定のURLを読み込むことは難しそうでした。
環境はうまくいっている方と大差ないので、原因としては確率は低そうです（否定は仕切れないですが...）
ひとまずこのコードではダメそうなので、見直してみます。

[otn]

> 実際にfind_elementでHTMLを読み込んでみましたが、
HTMLは見てないのでしょうか？

> 環境はうまくいっている方と大差ないので、原因としては確率は低そうです
大差ないということは、「同じPCではない」ということですよね。では環境棋院の原因はいくらでもあり得ます。
異なるPCで実行すれば異なる結果になるのは珍しいことでは無いです。