celeniumのfind_element_by_について

Question

前提

楽天のレビューからレビューアーの名前をスクレイピングしたいと考えています。

実現したいこと

・find_element_ を用いてレビューアーの名前を取得したい。

発生している問題・エラーメッセージ

selenium.common.exceptions.NoSuchElementException: Message: no such element: Unable to locate element: {"method":"css selector","selector":"#revRvwSec > div.revRvwMain > div > div.revRvwUserSecCnt > div:nth-child(1) > div.revRvwUserHead > ul > li.revUserFaceDtl > dl > dt > a"}

該当のソースコード

import os 
import time
import pandas as pd 
from selenium import webdriver 
import chromedriver_binary 
from selenium.webdriver.support.ui import WebDriverWait 


CURRENT_DIR = os.getcwd()

#https://review.rakuten.co.jp/item/1/333216_10001503  ワイヤレスイヤホン

ID = "333216_10001503"#ワイヤレスイヤホン
URL = "https://review.rakuten.co.jp/item/1/" + ID + "/"
#例：https://review.rakuten.co.jp/item/1/268158_10000003/1.1/（伊勢エビ）

times = 10

columns = ["name","score","age","sex","date","text"] 
df = pd.DataFrame(columns=columns) 

#
#selenium
#
op = webdriver.ChromeOptions()
browser = webdriver.Chrome(options=op) 

for i in range(times):
    browser.get(URL + str(i) + ".1/")  

    reviews = browser.find_elements_by_css_selector("div.revRvwUserSec")
    for review in reviews:
        age_and_sex = review.find_elements_by_css_selector("span.revUserFaceDtlTxt span")[0].text
        age = None
        sex = ""
        if age_and_sex != "":
            li = age_and_sex.split()
            if len(li) == 2:
                age = li[0][:2]
                sex_p = li[1]
                if sex_p == "男性":
                    sex = 0
                else:
                    sex = 1
            else:
                age = li[0]

        name = review.find_element_by_css_selector("#revRvwSec > div.revRvwMain > div > div.revRvwUserSecCnt > div:nth-child(1) > div.revRvwUserHead > ul > li.revUserFaceDtl > dl > dt > a").text
        score = review.find_element_by_css_selector("span.revUserRvwerNum.value").text
        date = review.find_element_by_css_selector("span.revUserEntryDate.dtreviewed").text
        text = review.find_element_by_css_selector("dd.revRvwUserEntryCmt.description").text
        se = pd.Series([name,score,age,sex,date,text],columns)
        df = df.append(se, columns)
        if name:
            print(name)

        
    time.sleep(1)

df.to_csv("review_ear_all.csv",encoding="utf_8_sig")
browser.quit()

試したこと

find_element_by_css_selectorとしたところからそのような要素はみつからないというエラーメッセージから、もしnameがあればprint(name)をするというようにデバッグを試みたが、改善されなかった。

また、最初のレビューアーの要素は取得できたことからそのレビューアー固有の要素を指定してしまっているのではないかと思った。そこでfind_element_by_tag_name("a")としてみたが、ほかの要素を取得してしまい、改善されなかった。

レビューアーの名前のみを取得する指定方法を教えていただきたい。

補足情報（FW/ツールのバージョンなど）

windows11
IDLE

Comments

[melian]

reviews = browser.find_elements_by_css_selector("div.revRvwUserSec")
for review in reviews:
　　　:

としていますので、以下の様に変更する必要があります。

name = review.find_element_by_css_selector("#revRvwSec > ...
=>
name = review.find_element_by_css_selector("li.revUserFaceDtl > dl > dt > a").text

ただ、ここを変更しても別のエラーが発生しますが。。。

[yasutin]

回答ありがとうございます！
「購入者」という表記のレビューアー、つまりここに要素がないレビューアーの場合エラーになってしまうということですよね。。。

[yasutin]

if review.find_element_by_css_selector("li.revUserFaceDtl > dl > dt > a").text:
name = review.find_element_by_css_selector("li.revUserFaceDtl > dl > dt > a").text

というようにしてみたのですが、要素を指定している時点でエラーが発生してしまっているようです。どのようにすればよいでしょうか。

新しい質問として作成した方がいいでしょうか！そうでしたらおっしゃってください。

[melian]

こちらの環境(BeautifulSoup 4.11.1)ですと、

name = review.find_element(By.CSS_SELECTOR, "li.revUserFaceDtl > dl > dt > *").text

とすることで、正常に完了します。(最後にデータフレームが表示されます)

[yasutin]

<a>タグの場合正常に取れました。ありがとうございます！
ですが途中で、<span>タグに変わっているからエラーになってしまうのだと思います。
<a>タグの要素（今回取得した要素）、もしくは、<span>タグの要素をnameに格納するにはどうすればいいですか？

<span>タグの様子です。↓↓↓

<span style="font-size:120%; font-weight:bold; padding:0px 5px 0px 0px;">購入者</span>

名前設定をしているユーザーの場合<a>タグが存在します。↓↓↓

<a l2id_linkname="body_01" href="https://review.rakuten.co.jp/my/NjM4MjUwYjE5ZTFiNGMxOQ__/1.0.0.1/"> worldtravel</a>

[melian]

はい、こちらでは

li.revUserFaceDtl > dl > dt > *

の様に "*" を指定することで a タグと span タグの両方を取得できています。もしくは、

name = review.find_element(By.CSS_SELECTOR, "li.revUserFaceDtl > dl > dt").text

として、dt タグ全体のテキストを取る様にしてみてはどうでしょうか。ただ、この場合は名前に「さん」が含まれることになります。(replace 関数などで除去してもよいかと)

[yasutin]

li.revUserFaceDtl > dl > dt > *

これで実行すると正常に動きました。
ありがとうございます！
ベストアンサーにさせていただきます。
回答していただいてもよろしいですか？

[melian]

ありがとうございます、回答しました。

Answer 1

※ コメントから転記

CSS セレクタを以下の様に変更します。

name = review.find_element_by_css_selector("#revRvwSec > div.revRvwMain > div > div.revRvwUserSecCnt > div:nth-child(1) > div.revRvwUserHead > ul > li.revUserFaceDtl > dl > dt > a").text
# => 変更
name = review.find_element_by_css_selector("li.revUserFaceDtl > dl > dt > *").text

Answer 2

selenium 4.0 以降では、find_element_by~ といったメソッドは使えなくなってます。4.0 以降は、find_element(by="class", value="revRvwUserSec") といった風に指定します。by 引数に、セレクターの名前を指定し、value にその値を渡します。

個人的には、xpath で指定する方が簡単なのでおすすめです。
開発者ツールのハイライトされている部分で右クリック、コピーを選んで、XPath または Full XPath を選択します。その値を、find_element() の引数 value に渡します。
たとえば、画像で提示されている箇所なら以下のようになります。

driver.find_element("xpath", "/html/body/div[5]/div[1]/div[5]/div[1]/div/div[3]/div[1]/div[1]/ul/li[2]/dl/dt/a")

参照：Finding web elements

Comments

[yasutin]

回答ありがとうございました！