pythonで特定のサイトに、requestsでアクセスすると、403エラーになる

環境

Python 3.7.6

実現したいこと

以下URL、にrequestsモジュールでアクセスした際、

url = "https://dexscreener.com/"

ステータスコードが、403、と表示されるので、200、を取得したい。

同様に、

url = "https://yahoo.co.jp"

に、にrequestsモジュールでアクセスすると、

ステータスコードは、200、と表示される。

該当のソースコード

python
1import requests
2
3url = "https://dexscreener.com/"
4# url = "https://yahoo.co.jp"
5
6headers = {
7    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.82 Safari/537.36',
8    "Connection": "keep-alive",
9    "Accept": "text/html,application/xhtml+xml,application/xml;",
10    "Referrer": "https://www.google.co.jp",
11    "Accept-Language": "ja;q=1.0",
12}
13
14# サイトからHTMLデータを取得
15response = requests.get(url, headers=headers)
16
17# ステータスコードを表示
18print(response.status_code)
19

気になる点

2つのURLの違いは、

以下、
該当のURLにアクセスした際に最初に表示される画面、のように、
url = "https://dexscreener.com/"、
にアクセスすると、CloudFlareの確認画面が
初回アクセス時に表示されている

該当のURLにアクセスした際に最初に表示される画面(Cloudflareの確認画面？)

hoshi-takanori

2023/05/15 15:38

API 使えば良いのでは？ https://docs.dexscreener.com/api/reference

行動規範の内容に同意します

回答2件

ベストアンサー

おっしゃる通り、特定のウェブサイトに対する初回アクセス時にCloudFlareの確認画面が表示される現象は、ウェブサイトがCloudFlareによるDDoS保護などのセキュリティ機能を利用しているためです。これはサイトの所有者がサイトを不正アクセスや攻撃から保護するために使用する一つの手段です。

そのため、単純なrequestsモジュールを使ったスクレイピングでは、CloudFlareの確認画面を通過することが困難となる場合があります。これは、CloudFlareの確認画面がJavaScriptを実行することでユーザーが本物のブラウザを使用していることを確認しているからです。

この問題を解決するためには、Pythonのrequestsモジュールではなく、JavaScriptを実行できるブラウザ操作ツール（たとえばSeleniumなど）を使用する方法があります。ただし、この方法は通常のrequestsモジュールを使用するよりも複雑で、ブラウザを操作するためのコードを書く必要があります。

もう一つの選択肢は、Cloudflareが提供する確認画面をバイパスするためのPythonライブラリ（たとえば cfscrape など）を使用することです。ただし、この方法も常に有効であるとは限らず、またCloudflareの規約に違反する可能性もあるため、その使用は慎重に行うべきです。

最後に、あなたがスクレイピングを行う理由と目的によっては、サイトの所有者に直接連絡して、スクレイピングを許可してもらうことも一つの方法です。

投稿2023/05/15 20:44