質問編集履歴
6
Twitterでいただいた情報2 追加
test
CHANGED
|
File without changes
|
test
CHANGED
|
@@ -191,3 +191,27 @@
|
|
|
191
191
|
|
|
192
192
|
|
|
193
193
|
同様に記述したところ、確かに出力されました。「»」という文字にひっかかるまでは…
|
|
194
|
+
|
|
195
|
+
|
|
196
|
+
|
|
197
|
+
## Twitterでいただいた情報2
|
|
198
|
+
|
|
199
|
+
|
|
200
|
+
|
|
201
|
+
> こちらの環境で例外を補足してみたところ、
|
|
202
|
+
|
|
203
|
+
'cp932' codec can't encode character '\xbb' in position 79453: illegal multibyte sequence
|
|
204
|
+
|
|
205
|
+
というエラーが確認されました。
|
|
206
|
+
|
|
207
|
+
軽く調べてみた感じ、Windows環境ではprintの際に内部で自動的に「CP932」というコードへ変換されるらしく、
|
|
208
|
+
|
|
209
|
+
その際に変換できない文字が含まれていると例外が発生するようです。
|
|
210
|
+
|
|
211
|
+
とりあえず
|
|
212
|
+
|
|
213
|
+
print(r.text.encode('cp932', "ignore").decode('utf-8', "ignore"))
|
|
214
|
+
|
|
215
|
+
とすると変換できない文字は無視するので、何かしら表示できるようになりますが、無視して良いものかどうかは私には判断できません。
|
|
216
|
+
|
|
217
|
+
> - [https://twitter.com/koma_neko/status/992627447060287491](https://twitter.com/koma_neko/status/992627447060287491)
|
5
これまでの経緯に基づく、タイトルの変更
test
CHANGED
|
@@ -1 +1 @@
|
|
|
1
|
-
|
|
1
|
+
Python requestsで、取り込んだHTMLが全文が出力されません。
|
test
CHANGED
|
File without changes
|
4
引用元追加
test
CHANGED
|
File without changes
|
test
CHANGED
|
@@ -186,6 +186,8 @@
|
|
|
186
186
|
|
|
187
187
|
> マイPCに同じ環境を作って試してみました。どうもprint文で文字列をブラウザに出力する際、特定の文字？が含まれていると出力されないようですね。「r.text」を「r.text[0:77342]」のようにして、77342文字目まで出力するようにしたら、出ました。
|
|
188
188
|
|
|
189
|
+
> - [https://twitter.com/koma_neko/status/992409734496927744](https://twitter.com/koma_neko/status/992409734496927744)
|
|
190
|
+
|
|
189
191
|
|
|
190
192
|
|
|
191
193
|
同様に記述したところ、確かに出力されました。「»」という文字にひっかかるまでは…
|
3
Twitterでいただいた情報追加
test
CHANGED
|
File without changes
|
test
CHANGED
|
@@ -177,3 +177,15 @@
|
|
|
177
177
|
・http://localhost:8020 ルートディレクトリで実行
|
|
178
178
|
|
|
179
179
|
・XAMPPで実行
|
|
180
|
+
|
|
181
|
+
|
|
182
|
+
|
|
183
|
+
## Twitterでいただいた情報
|
|
184
|
+
|
|
185
|
+
|
|
186
|
+
|
|
187
|
+
> マイPCに同じ環境を作って試してみました。どうもprint文で文字列をブラウザに出力する際、特定の文字？が含まれていると出力されないようですね。「r.text」を「r.text[0:77342]」のようにして、77342文字目まで出力するようにしたら、出ました。
|
|
188
|
+
|
|
189
|
+
|
|
190
|
+
|
|
191
|
+
同様に記述したところ、確かに出力されました。「»」という文字にひっかかるまでは…
|
2
微修正
test
CHANGED
|
File without changes
|
test
CHANGED
|
@@ -84,13 +84,15 @@
|
|
|
84
84
|
|
|
85
85
|
|
|
86
86
|
|
|
87
|
+
###やってみたこと
|
|
88
|
+
|
|
89
|
+
|
|
90
|
+
|
|
87
|
-
|
|
91
|
+
```
|
|
88
92
|
|
|
89
93
|
#!C:\Program Files\WinPython\python-3.6.5.amd64\python.exe
|
|
90
94
|
|
|
91
95
|
# -*- coding: utf-8 -*-
|
|
92
|
-
|
|
93
|
-
```
|
|
94
96
|
|
|
95
97
|
import requests
|
|
96
98
|
|
1
try 500エラー追加
test
CHANGED
|
File without changes
|
test
CHANGED
|
@@ -84,6 +84,88 @@
|
|
|
84
84
|
|
|
85
85
|
|
|
86
86
|
|
|
87
|
+
###
|
|
88
|
+
|
|
89
|
+
#!C:\Program Files\WinPython\python-3.6.5.amd64\python.exe
|
|
90
|
+
|
|
91
|
+
# -*- coding: utf-8 -*-
|
|
92
|
+
|
|
93
|
+
```
|
|
94
|
+
|
|
95
|
+
import requests
|
|
96
|
+
|
|
97
|
+
|
|
98
|
+
|
|
99
|
+
url = 'http://yahoo.com/'
|
|
100
|
+
|
|
101
|
+
|
|
102
|
+
|
|
103
|
+
try:
|
|
104
|
+
|
|
105
|
+
|
|
106
|
+
|
|
107
|
+
print("Content-Type: text/plain;charset=utf-8\n\n")
|
|
108
|
+
|
|
109
|
+
|
|
110
|
+
|
|
111
|
+
r = requests.get(url)
|
|
112
|
+
|
|
113
|
+
|
|
114
|
+
|
|
115
|
+
print(r.status_code)
|
|
116
|
+
|
|
117
|
+
|
|
118
|
+
|
|
119
|
+
print(r.headers['content-type'])
|
|
120
|
+
|
|
121
|
+
|
|
122
|
+
|
|
123
|
+
print(r.encoding)
|
|
124
|
+
|
|
125
|
+
|
|
126
|
+
|
|
127
|
+
print(r.text)
|
|
128
|
+
|
|
129
|
+
|
|
130
|
+
|
|
131
|
+
print(r.json())
|
|
132
|
+
|
|
133
|
+
|
|
134
|
+
|
|
135
|
+
print(r.content)
|
|
136
|
+
|
|
137
|
+
|
|
138
|
+
|
|
139
|
+
except Exception as e:
|
|
140
|
+
|
|
141
|
+
print '=== エラー内容 ==='
|
|
142
|
+
|
|
143
|
+
print 'type:' + str(type(e))
|
|
144
|
+
|
|
145
|
+
print 'args:' + str(e.args)
|
|
146
|
+
|
|
147
|
+
print 'message:' + e.message
|
|
148
|
+
|
|
149
|
+
print 'e自身:' + str(e)
|
|
150
|
+
|
|
151
|
+
|
|
152
|
+
|
|
153
|
+
print '処理終了'
|
|
154
|
+
|
|
155
|
+
```
|
|
156
|
+
|
|
157
|
+
⇒**500 error**
|
|
158
|
+
|
|
159
|
+
サーバ内部で障害が発生し、 リクエストに応えることができませんでした。
|
|
160
|
+
|
|
161
|
+
Error message:
|
|
162
|
+
|
|
163
|
+
End of script output before headers: test.py
|
|
164
|
+
|
|
165
|
+
|
|
166
|
+
|
|
167
|
+
|
|
168
|
+
|
|
87
169
|
### 補足情報（FW/ツールのバージョンなど）
|
|
88
170
|
|
|
89
171
|
|