質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
86.12%
スクレイピング

スクレイピングとは、公開されているWebサイトからページ内の情報を抽出する技術です。

Python 3.x

Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

解決済

スクレイピングにおけるリスト対応について

yasutin
yasutin

総合スコア24

スクレイピング

スクレイピングとは、公開されているWebサイトからページ内の情報を抽出する技術です。

Python 3.x

Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

1回答

0リアクション

0クリップ

228閲覧

投稿2022/09/06 01:18

編集2022/09/06 07:56

前提

pythonで楽天市場のレビュー欄から、商品に対する評価、レビューアーの年齢、性別、投稿した日付をcsvファイルに収集するコードを書いています。

実現したいこと

1000件ほどのレビューを集められるようにしたい。現状集められたレビュー数は300件ほどです。

発生している問題・エラーメッセージ

[age,sex] = age_and_sex.split(" ") ValueError: not enough values to unpack (expected 2, got 1)

該当のソースコード

python

#参考にしたwebサイト:https://onl.bz/umPGp1c (Seleniumを使ってスクレイピング – 商品レビュー編) import os import time import pandas as pd from selenium import webdriver import chromedriver_binary from selenium.webdriver.support.ui import WebDriverWait # #base # CURRENT_DIR = os.getcwd() ID = "270693_10007340"#店舗コード_商品ID URL = "https://review.rakuten.co.jp/item/1/" + ID + "/" #例:https://review.rakuten.co.jp/item/1/268158_10000003/1.1/(伊勢エビ) times = 25 columns = ["score","age","sex","date"] df = pd.DataFrame(columns=columns) # #selenium # options = webdriver.ChromeOptions() browser = webdriver.Chrome(options=options) for i in range(times): browser.get(URL + str(i+1) + ".1/") reviews = browser.find_elements_by_css_selector("div.revRvwUserSec") for review in reviews: age_and_sex = review.find_elements_by_css_selector("span.revUserFaceDtlTxt span")[0].text age = None sex = "" if age_and_sex != "": [age,sex] = age_and_sex.split(" ") age = int(age[:2]) score = review.find_element_by_css_selector("span.revUserRvwerNum.value").text date = review.find_element_by_css_selector("span.revUserEntryDate.dtreviewed").text se = pd.Series([score,age,sex,date],columns)#Seriesでインデックスと一対一のデータを作る df = df.append(se, columns) time.sleep(1) df.to_csv("rakuten_review.csv",encoding="utf_8_sig") browser.quit()

試したこと

times = 20にすると問題なくできましたが、times = 25以上にしてしまうと必ずこのエラーメッセージが表示されてしまい調べましたが、リストの対応している数が合わないとのことでした。ですがなぜ20ページまでは問題なく処理されて25ページ以降がダメなのかは結局よくわからず質問させていただきました。初心者質問ですみません。

補足情報(FW/ツールのバージョンなど)

windows11、IDLE(python3.10-64bit)

追記に対する回答

ああ、もしかして、<span>60代 男性</span>
でも 、<span>60代</span>でも対応できるようにしたいってことですか?
ーはい、そうです。言葉足らずですみませんでした。<span>60代</span>でも対応できるようにするためにはどうすればよいでしょうか。

以下のような質問にはリアクションをつけましょう

  • 質問内容が明確
  • 自分も答えを知りたい
  • 質問者以外のユーザにも役立つ

リアクションが多い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

気になる質問をクリップする

クリップした質問は、後からいつでもマイページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

下記のような質問は推奨されていません。

  • 間違っている
  • 質問になっていない投稿
  • スパムや攻撃的な表現を用いた投稿

適切な質問に修正を依頼しましょう。

TakaiY

2022/09/06 01:26

エラーが出るタイミングで、age_and_sex や reviewなどの変数にどのような値が入っているのでしょうか。
yasutin

2022/09/06 02:13

今すべて確認しましたが、そのページ特有の特徴を持つレビューアーが確認できました。今までは年齢と性別の情報があるかないかで判断していましたが、このページのあるレビューアーは”年齢は入力しているが、性別を入力していない”ユーザーでした。この場合どうすればよいでしょうか?ifのところが関係してくるのでしょうか。
yasutin

2022/09/06 02:35

要素については、例えば60代男性であれば <span>60代 男性</span>となっていて、 60代とだけ書かれているレビューアーのは <span>60代</span>となっています。
TakaiY

2022/09/06 02:41

「うすればよいでしょうか」といわれても、そのデータをどうしたいかによるので、わかりません。年代にしても無いかもしれませんよね。 それぞれ、どのようにしたいのか考えて対応すればいいのではないかと思います。
TakaiY

2022/09/06 02:44

ああ、もしかして、<span>60代 男性</span> でも 、<span>60代</span>でも対応できるようにしたいってことですか?
TakaiY

2022/09/06 02:45

ちなみに、質問への回答はここではなくて、質問を編集して追記してください。
yasutin

2022/09/06 07:53

わかりました!失礼しました。
yasutin

2022/09/06 08:49

追記でも記しましたが一応返信いたします。<span>60代</span>でも対応できるようにしたいということです。言葉足らずですみません。

まだ回答がついていません

会員登録して回答してみよう

アカウントをお持ちの方は

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
86.12%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問

同じタグがついた質問を見る

スクレイピング

スクレイピングとは、公開されているWebサイトからページ内の情報を抽出する技術です。

Python 3.x

Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。