###前提・実現したいこと
pythonのbeautifulsoup のスクレイピング機能を使って、複数ページあるサイトのテキスト情報を取得し、csvファイルに書き込みたいと考えています。
前回の質問の回答で、あるページでは問題が解決するものの、あるページではUnicodeEncodeErrorというエラーが出てしまい、結果を取得できません。
###発生している問題・エラーメッセージ
対象のサイトの構造を簡略化して示すと、以下のようになります。
html
1 <div class="media_heading">取得したいテキスト1-1</div> 2 <div class="media_body"><p>取得したいテキスト1-2</p></div> 3 4 <div class="media_heading">取得したいテキスト2-1</div> 5 <div class="media_body"><p>取得したいテキスト2-2</p></div> 6~~~~~~~~~~これが続いています~~~~~~~~~~ 7 <div class="media_heading">取得したいテキスト20-1</div> 8 <div class="media_body"><p>取得したいテキスト20-2</p></div>
ここに、このようなプログラムを書いて、CSVへ取得したいテキストをおとしています。
###該当のソースコード
python
1import requests 2import bs4 3import csv 4import time 5 6html = "hogehoge.com/p=" 7with open('output.csv', 'a') as fw: 8 writer = csv.writer(fw, lineterminator='\n') 9 10 for i in range(1,6): 11 res = requests.get(html + str(i), timeout = 30) 12 13 res.raise_for_status() 14 soup = bs4.BeautifulSoup(res.text,"html.parser") 15 name = [elem.getText(strip=True) for elem in soup.select('.media_heading')] 16 body = [body_elem.getText(strip=True) for body_elem in soup.select('.media_body')] 17 18 result = [[name_, body_] for name_, body_ in zip(name, body)] 19 20 writer.writerows(result) 21 time.sleep(1) 22 23 else: 24 print("finish")
エラーメッセージは以下です。
---> 15 writer.writerows(result) 16 time.sleep(1) 17 UnicodeEncodeError: 'cp932' codec can't encode character '\xa0' in position 88: illegal multibyte sequence
いろいろなサイトを参考にしながら作っているので、キメラ的になり、ほかにもおかしいところや迷惑をかけてしまうところがございましたらお教えください。
バッドをするには、ログインかつ
こちらの条件を満たす必要があります。