Pythonでamazonの商品のレビューのスクレイピングをしたい

Question

（例）
pythonでamazonの商品のレビューをスクレイピングするコードを作っています。このコードを実行すると以下のエラーメッセージが表示されます。
初心者なので難しい書き方ができません。

実現したいこと

![イメージ説明]

• amazonの商品ページのURLを貼り付けることで商品のレビューをリストアップする
• URLをレビューページのものへ書き換える
• レビューを取得し、csvファイルに書き出す

発生している問題・エラーメッセージ

例外が発生しました: WebDriverException
Message: unknown error: cannot create temp dir for user data dir
Stacktrace:
Backtrace:
	Ordinal0 [0x00A86463+2188387]
	Ordinal0 [0x00A1E461+1762401]
	Ordinal0 [0x00933D78+802168]
	Ordinal0 [0x00951AAE+924334]
	Ordinal0 [0x0094E331+910129]
	Ordinal0 [0x00981430+1119280]
	Ordinal0 [0x0098108A+1118346]
	Ordinal0 [0x0097C5F6+1099254]
	Ordinal0 [0x00956BE0+945120]
	Ordinal0 [0x00957AD6+948950]
	GetHandleVerifier [0x00D271F2+2712546]
	GetHandleVerifier [0x00D1886D+2652765]
	GetHandleVerifier [0x00B1002A+520730]
	GetHandleVerifier [0x00B0EE06+516086]
	Ordinal0 [0x00A2468B+1787531]
	Ordinal0 [0x00A28E88+1805960]
	Ordinal0 [0x00A28F75+1806197]
	Ordinal0 [0x00A31DF1+1842673]
	BaseThreadInitThunk [0x76DDFA29+25]
	RtlGetAppContainerNamedObjectPath [0x76F27A9E+286]
	RtlGetAppContainerNamedObjectPath [0x76F27A6E+238]
  File "C:\Users\rattyo\Desktop\卒論\プログラム\プログラム\scraping.py", line 15, in get_page_from_amazon
    driver = webdriver.Chrome("C:/chromedriver/chromedriver.exe", options=options)
  File "C:\Users\rattyo\Desktop\卒論\プログラム\プログラム\scraping.py", line 29, in get_all_reviews
    text = get_page_from_amazon(url)
  File "C:\Users\rattyo\Desktop\卒論\プログラム\プログラム\scraping.py", line 56, in <module>
    rvw_list = get_all_reviews(five_star_url)

該当のソースコード

ソースコード

import bs4   
import time
from selenium import webdriver
import chromedriver_binary
from selenium.webdriver.chrome.options import Options
import csv
import pprint

def get_page_from_amazon(url):
    #　ヘッドレスモードでブラウザを起動
    options = Options()
    options.add_argument('--headless')
     
    # ブラウザーを起動
    driver = webdriver.Chrome("C:/chromedriver/chromedriver.exe", options=options)
    driver.get(url)
    driver.implicitly_wait(60)
    text = driver.page_source
    driver.quit()
    return text

# 全ページ分をリストにする
def get_all_reviews(url):
    rvw_list = []
    i = 1
    while True:
        print(i,'searching')
        i += 1
        text = get_page_from_amazon(url)
        amazon_soup = bs4.BeautifulSoup(text, features='lxml')
        rvws = amazon_soup.select('.review-text')
        for rvw in rvws:
            rvw_list.append(rvw)    
        # 次へボタン
        next_page = amazon_soup.select('li.a-last a')   
 
        if next_page != []:    
            next_url = 'https://www.amazon.co.jp/' + next_page[0].attrs['href']    
            url = next_url
            time.sleep(1)
        else:
            break 
    return rvw_list
 
if __name__ == '__main__':
    
    # AmzonURLの入力
    print('Amazonのレビュー文を収集します\n商品ページのURLを入力してください')
    page = input('URL:')
    url = page
    # URLをレビューページのものに書き換える
    review_url = url.replace('dp', 'product-reviews')
    # 星5評価のみのレビューページに書き換える(星5:&filterByStar=five_star,星1:&filterByStar=one_star)
    five_star_url = review_url + '&filterByStar=one_star'
    # レビューの取得
    rvw_list = get_all_reviews(five_star_url)
    # 全データを表示
    for i in range(len(rvw_list)):

        rvw_text = rvw_list[i].text
        rvw_text_list = []
        rvw_text_list.append(rvw_text)

        string = ",".join(rvw_text_list)
        string_new = string.replace('\n','')
        rvw_text_list_new = string_new.split(",")

        with open("review1.csv",mode='a',encoding="utf-8_sig") as f:
            writer = csv.writer(f)
            writer.writerow(rvw_text_list_new)


### 試したこと

chromedriverのバージョン違いかと思い同じバージョンのものをpipでインストールした。

### 補足情報（FW/ツールのバージョンなど）
普段使っているchromeのバージョン
 103.0.5060.66（Official Build） （64 ビット）

pipでインストールしたchoromedriver
pip install chromedriver-binary==103.0.5060.53.0

環境

エディション	Windows 10 Home
バージョン	21H2


Visual Studio Code

バージョン: 1.68.1 (user setup)
コミット: 30d9c6cd9483b2cc586687151bcbcd635f373630
 日付: 2022-06-14T12:48:58.283Z
Electron: 17.4.7
Chromium: 98.0.4758.141
Node.js: 16.13.0
V8: 9.8.177.13-electron.0
OS: Windows_NT x64 10.0.19044

Comments

[BeatStar]

amazonについてはスクレイピングするより、専用のAPIを使うべきです。
確かAmazon APIなんていうものがあったはず…
専用のAPI以外での方法だと、後々揉める可能性がありますよ。

[meg_]

seleniumのバージョンは何ですか？

Answer 1

解決しました。コメントくださった方ありがとうございました。