前提
Pythonを使ってwebスクレイピングを行っています。
開発環境:MacOS
発生している問題
windows環境でみた際に、綺麗なリストになっていない
実現したいこと
windows環境でも空白を無くして見えがかりを整えたい
該当のソースコード
python
1import requests 2from bs4 import BeautifulSoup 3import csv 4import datetime 5import time 6 7# 現在の時刻を年、月、日、時、分、秒で取得 8time_ = datetime.datetime.today().strftime("%Y%m%d") 9 10csv_file_name = "xxx" + time_ + ".csv" 11f = open(csv_file_name, 'w',encoding='cp932', errors='ignore') 12 13#ファイルへの書き込み 14writer = csv.writer(f, lineterminator='\n') 15 16#headerの指定 17csv_header = ["xxx", "xxx", "投稿日","評価", "レビュー"] 18writer.writerow(csv_header) 19 20for page in range(3000691, 3001000): 21 url = "https://www.xxx.jp/php?product_id={}".format(page) 22 r = requests.get(url) 23 soup = BeautifulSoup(r.text, 'lxml') 24 time.sleep(2.0) 25 26 xxx = soup.select(".xxx") 27 xxx = soup.select(".xxx") 28 review = soup.select('.xxx p') 29 post_time = soup.select('.xxx') 30 31 for xxx in enumerate(xxx): 32 csv_list = [] 33 csv_list.append(xxx) 34 csv_list.append(xxx) 35 csv_list.append(xxx) 36 csv_list.append(xxx) 37 review_s = xxx["review"].strip() 38 csv_list.append(review_s) 39 writer.writerow(csv_list) 40f.close()
補足情報
macはoffice365を持っていないため、numbersで確認しています。
ちなみにここでは元々のtextに空白が多かったためstrip()を使っていますが、使っていない別のサイトをスクレイピングした際も同じ現象が発生します。
windows環境
・WindowsServer2016
・64bit
macでAmazonのworkspaceを利用してwindowsでみています。
原因が分からず、、、ご教示いただけますと幸いです。
よろしくお願いいたします。
回答1件
あなたの回答
tips
プレビュー
バッドをするには、ログインかつ
こちらの条件を満たす必要があります。
2020/08/17 06:58