Q&A
なるほどです。法的な話など確認する必要がありますね。ありがとうございます！
def url_to_html(url):
res = urllib.request.urlopen(url)
data = res.read()
html = data.decode("utf-8")
return html
urlからhtmlを取得するコードなのですが、
このコードでスクレイピングを行うと
html><head><title>Request Rejected</title></head><body>The requested URL was rejected. Please consult with your administrator.<br><br>Your support ID is: 12908681150959956965</body></html>
というエラーコードが表示されます
この解決法わかるかた教えていただけるとありがたいです
回答2件
0
多分user-agentで弾いていると思うのでrequests-htmlでも使ってみてください．
デフォルトでhttp headerのuser-agentにブラウザの情報をセットしてくれます．
投稿2018/09/13 06:08
総合スコア14
0
「Request Rejected」 と書いてある通り、サーバーが botなどからのアクセスを意図的に拒絶してる可能性があります。そもそものその URLにプログラムでアクセスしても良いのか確認するのが良さそうです。
投稿2018/04/20 09:00
総合スコア2120
あなたの回答
tips
プレビュー
バッドをするには、ログインかつ
こちらの条件を満たす必要があります。