Python requestsで、取り込んだHTMLが全文が出力されません。

Question

前提・実現したいこと

昨日pythonをはじめましたが、
import requestsがうまくいきません。
改善点を指摘お願いします。

以下のようなコードを書き、YahooのHTMLを出力しようとしています。

#!C:\Program Files\WinPython\python-3.6.5.amd64\python.exe
# -*- coding: utf-8 -*-

import requests

url = 'http://yahoo.com/'

print("Content-Type: text/plain;charset=utf-8\n\n")

r = requests.get(url)

print(r.status_code)

print(r.headers['content-type'])

print(r.encoding)

print(r.text)

print(r.json())

print(r.content)

発生している問題・エラーメッセージ

出力結果

200
text/html; charset=UTF-8
UTF-8

###やってみたこと

#!C:\Program Files\WinPython\python-3.6.5.amd64\python.exe
# -*- coding: utf-8 -*-
import requests

url = 'http://yahoo.com/'

try:

print("Content-Type: text/plain;charset=utf-8\n\n")

r = requests.get(url)

print(r.status_code)

print(r.headers['content-type'])

print(r.encoding)

print(r.text)

print(r.json())

print(r.content)

except Exception as e:
    print '=== エラー内容 ==='
    print 'type:' + str(type(e))
    print 'args:' + str(e.args)
    print 'message:' + e.message
    print 'e自身:' + str(e)
    
print '処理終了'

⇒500 error
サーバ内部で障害が発生し、 リクエストに応えることができませんでした。
Error message:
End of script output before headers: test.py

補足情報（FW/ツールのバージョンなど）

・python-3.6.5.amd64
・http://localhost:8020　ルートディレクトリで実行
・XAMPPで実行

Twitterでいただいた情報

マイPCに同じ環境を作って試してみました。どうもprint文で文字列をブラウザに出力する際、特定の文字？が含まれていると出力されないようですね。「r.text」を「r.text[0:77342]」のようにして、77342文字目まで出力するようにしたら、出ました。

• https://twitter.com/koma_neko/status/992409734496927744

同様に記述したところ、確かに出力されました。「»」という文字にひっかかるまでは…

Twitterでいただいた情報2

こちらの環境で例外を補足してみたところ、

'cp932' codec can't encode character '\xbb' in position 79453: illegal multibyte sequence
というエラーが確認されました。
軽く調べてみた感じ、Windows環境ではprintの際に内部で自動的に「CP932」というコードへ変換されるらしく、
その際に変換できない文字が含まれていると例外が発生するようです。
とりあえず
print(r.text.encode('cp932', "ignore").decode('utf-8', "ignore"))
とすると変換できない文字は無視するので、何かしら表示できるようになりますが、無視して良いものかどうかは私には判断できません。

• https://twitter.com/koma_neko/status/992627447060287491

Comments

[umyu]

発生している例外メッセージを質問文に追記してくださいな。

[BITO]

"例外メッセージ"自体がまだわかっていないのですが、当該箇所を try: ～ except させると500エラーになります。

[umyu]

サーバー経由せずに、手元の環境でPythonスクリプトを実行すると分かるのですが、r.json()の行でJSON形式データに変換しようとしてエラーになってます。

[umyu]

で、このスクリプトはサーバー経由で動作させたいという認識でよいでしょうか？

[BITO]

pythonでスクレイピングを行うにあたり、どのような動作をするかを確認するために記述しているので、とりあえず手元の環境で動かしているという感じです。サーバー経由とローカルのみで異なる結果になるという点は、今はじめて認識しました。

[BITO]

print (r.json()) 以下、コメントアウトしましたが、出力結果は変わりませんでした。

[umyu]

そういう話でしたら、これをいれてみてはどうでしょうか？r.textの前の行にr.encoding = r.apparent_encoding

[BITO]

試してみましたが、出力結果これまでと同様でした。

[umyu]

お役にたてなくて、申し訳ないですー。

[BITO]

お手数をおかけしました。ありがとうございます。

[tachikoma]

このスクリプト、どういう環境で実行してます？コマンドプロンプト？

[tachikoma]

xamppか・・・うーん触ったことないから自身ないのですが、出力側の文字コードがsjisになっててutf8のデコーディングエラーが発生して表示できなくなっている、というのはないですかね。

[BITO]

ファイル自体のエンコードは、utf-8です。取り込み先も、出力 もutf-8なので、たぶん大丈夫だとは思うのですが・・・

Answer 1

Twitterでいただいた情報をもとに…

#この記述を…
print(r.text)

#このような記述に書き換えると…
print(r.text.encode('cp932', "ignore").decode('utf-8', "ignore"))

全文取得できました！

Windows環境ではprintの際に内部で
自動的に「CP932」というコードへ変換されるとのことでした…。

ただし、引っかかっていた文字列「»」は消えたようです。

参考 - (Windows) Python3でのUnicodeEncodeErrorの原因と回避方法
https://qiita.com/butada/items/33db39ced989c2ebf644

追記

冒頭に

import io,sys
sys.stdout = io.TextIOWrapper(sys.stdout.buffer, encoding='utf-8')
sys.stderr = io.TextIOWrapper(sys.stderr.buffer, encoding='utf-8')

と入れて…

print(r.text)

…とすると…
「»」も含めて出力することに成功しました！