質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.48%
スクレイピング

スクレイピングとは、公開されているWebサイトからページ内の情報を抽出する技術です。

Python 3.x

Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

Q&A

1回答

2688閲覧

pythonにおけるスクレイピングでUnicodeEncodeErrorが出る

Sunkaze

総合スコア8

スクレイピング

スクレイピングとは、公開されているWebサイトからページ内の情報を抽出する技術です。

Python 3.x

Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

0グッド

0クリップ

投稿2018/07/04 06:36

###前提・実現したいこと
pythonのbeautifulsoup のスクレイピング機能を使って、複数ページあるサイトのテキスト情報を取得し、csvファイルに書き込みたいと考えています。
前回の質問の回答で、あるページでは問題が解決するものの、あるページではUnicodeEncodeErrorというエラーが出てしまい、結果を取得できません。

###発生している問題・エラーメッセージ
対象のサイトの構造を簡略化して示すと、以下のようになります。

html

1 <div class="media_heading">取得したいテキスト1-1</div> 2 <div class="media_body"><p>取得したいテキスト1-2</p></div> 3 4 <div class="media_heading">取得したいテキスト2-1</div> 5 <div class="media_body"><p>取得したいテキスト2-2</p></div> 6~~~~~~~~~~これが続いています~~~~~~~~~~ 7 <div class="media_heading">取得したいテキスト20-1</div> 8 <div class="media_body"><p>取得したいテキスト20-2</p></div>

ここに、このようなプログラムを書いて、CSVへ取得したいテキストをおとしています。

###該当のソースコード

python

1import requests 2import bs4 3import csv 4import time 5 6html = "hogehoge.com/p=" 7with open('output.csv', 'a') as fw: 8 writer = csv.writer(fw, lineterminator='\n') 9 10 for i in range(1,6): 11 res = requests.get(html + str(i), timeout = 30) 12 13 res.raise_for_status() 14 soup = bs4.BeautifulSoup(res.text,"html.parser") 15 name = [elem.getText(strip=True) for elem in soup.select('.media_heading')] 16 body = [body_elem.getText(strip=True) for body_elem in soup.select('.media_body')] 17 18 result = [[name_, body_] for name_, body_ in zip(name, body)] 19 20 writer.writerows(result) 21 time.sleep(1) 22 23 else: 24 print("finish")

エラーメッセージは以下です。

---> 15 writer.writerows(result) 16 time.sleep(1) 17 UnicodeEncodeError: 'cp932' codec can't encode character '\xa0' in position 88: illegal multibyte sequence

いろいろなサイトを参考にしながら作っているので、キメラ的になり、ほかにもおかしいところや迷惑をかけてしまうところがございましたらお教えください。

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

guest

回答1

0

コード詳細は確認していませんが、ファイル出力時の文字変換で発生しています。
以下のいずれかで解消すると思います。

  • 表現力の高いutf-8で出力する open('output.csv', 'a', encoding='utf-8')
  • cp932で表現できない文字は?などに置き換えて出力する open('output.csv', 'a', errors='replace')

投稿2018/07/04 06:56

can110

総合スコア38266

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

まだベストアンサーが選ばれていません

会員登録して回答してみよう

アカウントをお持ちの方は

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.48%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問