質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.48%
スクレイピング

スクレイピングとは、公開されているWebサイトからページ内の情報を抽出する技術です。

Python 3.x

Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

Q&A

解決済

1回答

868閲覧

楽天市場のレビュー欄におけるスクレイピング。リストについて。

yasutin

総合スコア41

スクレイピング

スクレイピングとは、公開されているWebサイトからページ内の情報を抽出する技術です。

Python 3.x

Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

0グッド

0クリップ

投稿2022/08/30 11:25

前提

pythonで楽天市場レビュー欄のスクレイピングをしています。
score,age,sexは収集できたのですが、dateを収集することができません。
以下のコードで実行するとエラーとなってしまいます。

実現したいこと

・date(レビューの投稿された日付)を収集したい

発生している問題・エラーメッセージ

date = review.find_elements_by_css_selector("span.revUserEntryDate.dtreviewed").text AttributeError: 'list' object has no attribute 'text'

該当のソースコード

Python

1#参考にしたwebサイト:https://onl.bz/umPGp1c (Seleniumを使ってスクレイピング – 商品レビュー編) 2 3import os 4import time 5import pandas as pd 6from selenium import webdriver 7import chromedriver_binary 8from selenium.webdriver.support.ui import WebDriverWait 9 10 11 12# 13#base 14# 15CURRENT_DIR = os.getcwd() 16 17ID = "202326_10000951"#店舗コード_商品ID 18URL = "https://review.rakuten.co.jp/item/1/" + ID + "/" 19#例:https://review.rakuten.co.jp/item/1/268158_10000003/1.1/(伊勢エビ) 20 21times = 20 22 23columns = ["score","age","sex","date"] 24df = pd.DataFrame(columns=columns) 25 26 27 28# 29#selenium 30# 31options = webdriver.ChromeOptions() 32browser = webdriver.Chrome(options=options) 33 34for i in range(times): 35 browser.get(URL + str(i+1) + ".1/") 36 37 reviews = browser.find_elements_by_css_selector("div.revRvwUserSec") 38 39 for review in reviews: 40 age_and_sex = review.find_elements_by_css_selector("span.revUserFaceDtlTxt span")[0].text 41 age = None 42 sex = "" 43 if age_and_sex != "": 44 [age,sex] = age_and_sex.split(" ") 45 age = int(age[:2]) 46 47 score = review.find_element_by_css_selector("span.revUserRvwerNum.value").text 48 date = review.find_elements_by_css_selector("span.revUserEntryDate.dtreviewed").text 49 se = pd.Series([score,age,sex,date],columns)#Seriesでインデックスと一対一のデータを作る 50 df = df.append(se, columns) 51 52 time.sleep(1) 53 54df.to_csv("rakuten_review.csv",encoding="utf_8_sig") 55browser.quit() 56

試したこと

review.find_elements_by_css_selector("span.revUserEntryDate.dtreviewed").text
の部分を
review.find_elements_by_css_selector("span.revUserEntryDate.dtreviewed")[0].text
としてみましたが、インデックスの範囲外だというエラーが出ました。
str型ではだめでint型でなければならないのでしょうか?ですが、性別は「男性」、「女性」というように文字列としてcsvファイルに保存することができます。どうすれば日付をcsvファイルに保存できるでしょうか。

全くの初心者ですみません。よろしくお願いします。

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

guest

回答1

0

ベストアンサー

'list' object has no attribute 'text'

listオブジェクトに対して .text を取り出そうとしていますよ。
find_elements_... という名前からして複数の element がリストで格納されていると思われます。
リストの各要素に対して処理してはいかがでしょうか?
もちろん、ない場合には空リストでしょうから [0] がないというエラーになります。

投稿2022/08/30 11:28

編集2022/08/30 11:30
shiracamus

総合スコア5406

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

yasutin

2022/08/30 11:32

すみません!find_element_...にしたらできました。 お騒がせしました。回答ありがとうございます。
guest

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.48%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問