ネットにある画像をpythonでPCに保存したいのですがうまくいかず助けていただきたいです。

Question

ネットにある画像をpythonでPCに保存したいのですがうまくいきません。

現状のコードではseleniumで画像のURLをスクレイピングし、そのURLに対してrequests.get(url)でファイルを開き保存しようとしています。プログラム上ではエラーは発生しませんが、保存したファイル内がHTMLコードになり、HTTP1020のエラーが帰ってきています。スクレイピングしたURLにブラウザでアクセスした場合は1回目のGETアクセスでは画像がかえって来ますが、2回目のGETアクセスを行うと同様にHTTP1020のエラーが帰って来ます。

ファイル保存部分のコードです。

responce = requests.get(url)
image = responce.content
with open(file_name, "wb") as fp:
    fp.write(image)

エラー画面

Error 1020 Ray ID: 6054d2ee0f260b7c • 2020-12-21 21:51:21 UTC
Access denied
What happened?
This website is using a security service to protect itself from online attacks.

seleniumで操作しているchrome上では正常に画像が表示されているので、直接画像のバイナリデータを取得する方法やほかに何かしらこの問題を突破する方法がわかる方がいましたら、教えていただきたいです。
よろしくお願いします。

Comments

[gentaro]

回答した後で気づいたけど、どう考えても解決済みのものも含めて過去の質問を一つも解決済みにしてない人のようなので、ここ見た人はご注意ください。

Answer 1

CloudFlareのセキュリティサービスで、ブラウザで閲覧するような通常の手法以外でのアクセスを拒否しているという事でしょう。

https://blog.halpas.com/archives/13878

上記サイトにも記載さてれいますが、そのWebサイトの管理者に問い合わせてください。

そもそも、一般的にこのようなサービスを使っているということは、スクレイピング等ブラウザ以外でのアクセスを行って欲しくない、という間接的な意思表示と解釈できますので、問い合わせても「やめて」と言われるとは思いますが。