Python Seleniumでスクレイピングする際の要素取得について

Question

前提・実現したいこと

Python,seleniumで、
App Storeのレビューの星の数、タイトル、日付、テキストをそれぞれ取得したい。

発生している問題・エラーメッセージ

例：Twitter公式アプリの場合
https://apps.apple.com/jp/app/twitter-%E3%83%84%E3%82%A4%E3%83%83%E3%82%BF%E3%83%BC/id333903271#see-all/reviews

上記URLからpタグをキーにして、レビューのテキストは取得できたものの

'list' object has no attribute 'text'

のエラーが出てしまい、星の数、タイトル、日付が取得できません。
その3つにはtext属性がないため(?)というのは理解できるのですが
その場合、どのように取得すれば良いのでしょうか。

初歩的な質問で恐縮ですが、宜しくお願いします。

該当のソースコード

#pタグをキーにして、レビューテキスト取得 --一旦問題無し
stats = driver.find_elements_by_tag_name('p')
#例：class名をキーにして日付を取得　--エラー表示
date = driver.find_elements_by_class_name('we-customer-review__date')

for stat in stats:
    msg = stat.text
    msh = date.text
    #レビューテキストを出力
    print(msh)
    print(msg)
    print("-------------")

試したこと

タグ、クラス名、CSSセレクタなど取得する際のキーは色々試しましたが、
どれもうまくいかず...

補足情報（FW/ツールのバージョンなど）

Answer 1

もう少し柔軟にやりましょう。

from time import sleep

# その他のimport、driver宣言、サイト接続まで略

# スクロールするといくらでもレビューが現れるので適宜歯止めをきかす
MAX_SCROLE = 10
current_source = ''
for _ in range(len(MAX_SCROLE)):
    if current_source == driver.page_source:
        break
    current_source = driver.page_source
    driver.execute_script('scrollTo(100, document.body.scrollHeight)')
    sleep(2)

reviews = set()
for div_tag in driver.find_elements_by_class_name('l-column--grid'):
    one_data = {} # 辞書型
    one_data['star_cnt'] = int(div_tag.find_element_by_tag_name('figure').get_attribute('aria-label')[0]) # 「1／5」などとなっているので[0]で先頭の1文字だけを取得する
    one_data['title'] = div_tag.find_element_by_tag_name('h3').text
    one_data['date'] = div_tag.find_element_by_tag_name('time').text #YYYY/MM/DD形式
    one_data['comment'] = ''.join([p_tag.text for p_tag in div_tag.find_elements_by_tag_name('p')])
    reviews.add(one_data)

print(reviews)

以下ポイントです。

• 下の方にスクロールしていくと全てのレビューが表示されます。今回は数が多すぎるのでMAX_SCROLEで歯止めをきかせてやりましょう。
• class属性がl-column--gridのタグはうまいこと各四角にしか適用されていないので、これを元にループを回してやりましょう。
• さらにその配下で欲しい4要素も全てタグの種類が違い、なおかつp以外は各四角の中に1つずつしか存在しないので、tag名で取得してやりましょう
• コメントは改行されると複数のpタグに入るようになっているようですが、この四角の中のpタグは全てコメント(コメント以外のpタグが存在しない)ので、全pタグのテキストを連結させてやりましょう。string型のメソッドjoinとリストの内包表記はスクレイピングと全く関係ないpythonの手法なので適宜ググってください。

ちゃんと動かしていないので書き間違えなどあったらすみません。

Answer 2

find_elements_by_class_nameと複数形になってることから分かるとおり、
date = driver.find_elements_by_class_name(～)
のdateは要素じゃなくて要素のリストです。

textはリストじゃなくて要素に適用します。