[python]セレニウムでスクレイピングをしてcsvに出力したい

Question

#seleniumでスクレイプしてcsvに出力したい

指定サイトのページをスクレイプしcsvに出力したいのですが…下記の数点がうまくいきません。
何卒ご教示の程よろしくお願いします。

１．改行コードが消えない
２．CP932で出力できない

まず初めに対象コードと指定サイトです。
※sd.textはURLリストが格納されているだけです。

対象サイト：https://www.superdelivery.com/p/r/pd_p/4874875/

import urllib.request, urllib.error
import requests
import csv
import time
import asyncio
import codecs
from bs4 import BeautifulSoup
from selenium import webdriver




def scraping():
with open('sd.txt') as f:
for line in f.readlines():
yield line.strip()


for target_url in scraping():
driver = webdriver.Chrome('chromedriver.exe')
driver.set_window_size(1280, 720)
	
time.sleep(2)
driver.find_element_by_class_name('log-btn').click()
driver.find_element_by_name('identification').send_keys('[e-mail]')
driver.find_element_by_name('password').send_keys('xxxxxxx')
driver.find_element_by_xpath('//*[@id="jsp-tiles-certification-c"]/form/div/div[1]/div[1]/div[6]/div/span/input').click()

time.sleep(2)
	
	
html = driver.page_source.encode('utf-8')
soup = BeautifulSoup(html, 'html.parser')
	
title = soup.find('span', class_='product-name').text.strip()
imgage = soup.findAll('div', id='thumbImageBox')
explaine = soup.find('table' , class_='product-comment-wrap').text.strip().replace(chr(165),"").replace('\r\n', '')
jan =soup.find('div' , class_='co-fcgray td-jan').string.strip()
open_price = soup.find('td' , class_='border-rt td-price01 co-pc-only co-pr5').text.strip().replace(chr(165),"")
whole_price = soup.find('td' , class_='maker-wholesale-set-price').text.strip().replace(chr(165),"")
size =soup.findAll('td',{'class':'co-p0'})[1].text.strip()
attention =soup.findAll('td',{'class':'co-p0'})[2].text.strip()
model = soup.findAll('td' , class_='tr-last co-ts-only').text.strip().replace(chr(165),"")


	
for f in imgage:
for link in f.findAll('img'):
imgoutput = link.attrs['src']
imgurl = 'https:' + imgoutput
			
with open('sd.csv', 'a', newline='' , encoding='UTF-8') as f: 
writer = csv.writer(f)
writer.writerow([title,model,imgurl,explaine,jan,open_price,whole_price,size])
	
driver.quit()

1.改行コードが消えない
explaine、modelの部分での改行が消えません。

explaineの取得しているHTMLは下記になります。
CR？改行コードが入ってしまいテキストエディタで開いても、csvで開いても改行コードが消えていません。

<div id="product_comment_sp" class="product-comment">
<a name="_top">大切なバッグをキズや型崩れから守りながら、コンパクトに収納！<br>
ハンガーフック付なので、取り付け・取り外しが簡単！<br>
両サイドがメッシュ仕様で、見やすく出し入れ＋通気性にすぐれています！</a><span style="display:none;"></span>
</div>

modelの取得しているHTMLは下記になります。
本当は、span毎に取得してCSVに出力したいですが…うまくいかず、一つのmodelとして取得してきたのですが、
最初のspanの後に改行が入ってしまいます。

<td class="tr-last co-ts-only">
<table>
<tbody><tr>
<td>
<span>SD品番：4874875S1</span>
<span> / メーカー品番：1007802</span>
</td>
</tr>
</tbody></table>
</td>

２．CP932で出力できない
html = driver.page_source.encode('CP932')
with open('sd.csv', 'a', newline='' , encoding='CP932') as f:

としたり、encording にerrors='ignore'　をしたり色々とためしたのですが、

UnicodeEncodeError: 'cp932' codec can't encode character '\u200b' in position 15033: illegal multibyte sequence

がでたり、色々なエンコードエラーがでます。。
まったく太刀打ちができません。。。

素人質問で大変申し訳ございません。。質問の仕方も悪いかと存じますが、何卒ご教示をよろしくお願い致します。

Answer 1

結構、時間が過ぎていますが解決していましたらご容赦を。
自分でも実行しようと思いましたが、ユーザー登録が必要なのでやりませんでした。
申し訳ありませんがそこまでするパワーはないです。

１．改行コードが消えない
この件についてですが、explaine = soup.find('table' , class_='product-comment-wrap').text.strip().replace(chr(165),"").replace('\r\n', '')
のように一気にreplaceしていますが、textをprintするなりデバッガで確認するなりして
地道に対応してみてはいかがでしょうか。

２．CP932で出力できない
この件ですが、質問者の書かれているurlのトップはUTF-8ですね。
CP932よりUTF-8の方が文字セットが大きいですから、UTF-8にある文字がCP932にないからかもしれませんね。
そうであれば、(1)事前に該当文字を適切に変換する。(2)CP932でなくUTF-8のままファイルする
などを考えてみてはいかがでしょうか。

Comments

[Dadada_c.]

お返事ありがとうございます。

１．改行コードが消えない
この件についてですが、一つづつためしたのですがうまくいきませんでした。。

2.CP932で出力できない
これはなんとか解決できそうです。ありがとうとざいます。

[barobaro]

.get_text(strip=True)を使えばいいです。

explaine = soup.find('table' , class_='product-comment-wrap').get_text(strip=True).replace(chr(165),"")

[Dadada_c.]

barobaroさま
ご連絡が遅くなり申し訳ありません。ご指摘の通りできました！！本当にありがとうございます！！