質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.50%
Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

Q&A

解決済

3回答

3056閲覧

Python (requests)スクレイピングの取得結果が UnicodeEncodeError でファイルに出力出来ない

khaii21

総合スコア65

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

0グッド

0クリップ

投稿2018/06/18 11:53

編集2018/06/18 12:14

前提・実現したいこと

requestsモジュールでスクレイピングした結果をファイルに出力したいのですが
UnicodeEncodeErrorとなりファイルに出力出来ません。
取得する内容には日本語が含まれており、エンコードはutf-8です。
色々とunicodeの扱いについて調べたのですが解決出来ませんでした。
どなたか改善方法をご教授頂けないでしょうか。

発生している問題・エラーメッセージ

UnicodeEncodeError: 'ascii' codec can't encode characters in position 59-66: ordinal not in range(128)

該当のコマンド

#!/usr/bin/python # -*- coding: utf-8 -*- import requests url = "http://hoge.co.jp" file = "/tmp/hoge.log" s = requests.Seasion() res = s.get(url) res.encoding = res.apparent_encodeing # 出力結果は utd-8 print(res.encoding) with open(file, "w") as f: f.write(res.text)

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

guest

回答3

0

取得結果データのエンコードがutf-8であり、提示エラーがf.write(res.text)時に発生したのであれば
with open(file, "w") as f:with open(file, "w", encoding='utf-8') as f:で出力できると思います。

投稿2018/06/18 11:59

can110

総合スコア38233

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

khaii21

2018/06/18 12:12

ご回答ありがとうございます。 試してみたところ、下記のエラーとなりました。 TypeError" 'encoding' is an invalid keyword argument for this function 何か他にご教授頂けることがありましたら助かります。
can110

2018/06/18 12:34

pythonバージョンが2のようですね。openの代わりにio.openを使ってみてください。 import io with io.open(file, "w", encoding='utf-8') as f:
khaii21

2018/06/18 12:48

色々とご確認ありがとうございます。 Python 2 になります。最初にきちんと提示しておらず申し訳ございません。 先程、hayataka2049さんからご教授頂いた方法でファイルに出力できました。 都度お聞きすることとなり大変申し訳ございません。 今後の勉強のために他にも方法があれば勉強のために確認したいと思い試したところ、 下記のエラーとなりました。 エラー内容を検索して調べているのですが もし原因がお分かりでしたらご教授頂けますと幸いです。 File "/usr/lib64/python2.6/io.py", line 1515, in write s.__class__.__name__) TypeError: can't write str to text stream
can110

2018/06/18 12:56

あ、中途半端な回答になってました。すみません。 Python2.xの文字列には「unicode」型と「str」型の2種類あるのですが ioモジュールは「unicode」型の文字列読み書きに適した手法で そのままstr型を渡すとそのようなエラーが発生します。 「str」型の読み書きならhayataka2049さんの回答の手法が適切です。 詳細は https://stackoverflow.com/questions/4512982/python-typeerror-cant-write-str-to-text-stream を参照ください。
khaii21

2018/06/18 13:02

ご回答ありがとうございます。 大変勉強になりました。 本当にありがとうございました。
guest

0

ベストアンサー

山勘ですが、

python

1with open(file, "w", encoding="utf-8") as f:

でいけませんか。

投稿2018/06/18 11:58

hayataka2049

総合スコア30933

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

khaii21

2018/06/18 12:12

ご回答ありがとうございます。 試してみたところ、下記のエラーとなりました。 TypeError" 'encoding' is an invalid keyword argument for this function 何か他にご教授頂けることがありましたら助かります。
hayataka2049

2018/06/18 12:25

使っているのはpython2系なんですね。そしたら、 print type(res.text) の結果を教えていただけませんか
khaii21

2018/06/18 12:29

Python 2 になります。最初にきちんと提示しておらず申し訳ございません。 出力結果は <type 'unicode'> と出力されました。
hayataka2049

2018/06/18 12:30

でしたら f.write(res.text.encode("utf-8")) でどうでしょうか。
khaii21

2018/06/18 12:34

ありがとうございます。 きちんと結果をファイルに出力出来ました。 本当に助かりました。
guest

0

日本語がUTF8じゃなかったということなんでは。
スクレイピング結果をチェックしてみては

投稿2018/06/18 11:57

y_waiwai

総合スコア87719

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

khaii21

2018/06/18 12:09

ご回答ありがとうございます。 無知で申し訳ございません。 スクレイピング結果のチェックと言われているのはどのようにすれば良いかご教授頂けないでしょうか。
y_waiwai

2018/06/18 12:18

イマドキのLinuxであれば res.text をターミナルに出力してみる、ってのが手軽ですかね。 文字化けしてると、utf8じゃないってことに
khaii21

2018/06/18 12:27

ご回答ありがとうございます。 ターミナルに取得結果を出力してみたところ、きちんと読める結果が出力されました。 ただ気になることがありまして、何がきっかけなのか分からないのですが、時々文字化けした結果が出力される事があります。 ファイルへの出力は必ずエラーになります。
guest

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.50%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問