pythonでスクレイピングを行うと403 Forbidden エラーが出て、スクレイピングすることができない。

Question

Pythonを使用して、スクレイピングを実行しましたが、下記のようなエラーが出ました。
調べたところ、ヘッダーのUser-Agentというのが必要ということが分かったのですが、
その情報を入力してもスクレイピングをすることができません。

You don\'t have permission to access this resource.

実行したコードは下記です。
どなたかご教示いただけませんでしょうか？

from bs4 import BeautifulSoup
import requests
import openpyxl
year = 2019 
code = 6577
url = "https://kabuoji3.com/stock/"+str(code)+"/"+str(year)+"/"
headers = {
    "User-Agent":"自分のユーザーエージェント情報"
}
soup = BeautifulSoup(requests.get(url,headers = headers).content,'html.parser')
print(requests.get(url).content)

Comments

[meg_]

対象のサイトはスクレイピングが許可されていますか？

[takochan1192]

確認しましたが、現在のところされています。

Answer 1

from bs4 import BeautifulSoup
import requests
import openpyxl
year = 2019 
code = 6577
url = "https://kabuoji3.com/stock/"+str(code)+"/"+str(year)+"/"
headers = {
    "User-Agent":"Mozilla/5.0 (Macintosh; U; PPC Mac OS X 10_4_11; ja-jp) AppleWebKit/533.19.4 (KHTML, like Gecko) Version/4.1.3 Safari/533.19.4"
}

response = requests.get(url,headers = headers)
#response.encoding = 'shift_jis'
soup = BeautifulSoup(response.text,'html.parser')
#print(soup.encode('cp932','ignore').decode('cp932', 'ignore'))
print(soup)

Comments

[takochan1192]

ありがとうございます。
取得することができました。これで一歩前に進めそうです。本当にありがとうございました。

Answer 2

【追記】
Pythonからのアクセスを拒否されるということは、そのサイトは「非ブラウザ」のリクエストを許可しない設定ということでしょう。
質問者さんのコードが上手くいかないのはおそらくUserAgent部分が正しく書かれていないためと思われます。しかし、サイトはスクレイピングを禁止している可能性があるので止めた方が良いかもしれませんね。

---

質問者さんの言う「エラー」とは、Pythonのエラーが出るのではなくrequests.get(url).contentの内容が「You don't have permission to access this resource.」であるということなんですね。理解が出来ていませんでした。

---

下記コードでエラーは出ませんでした。（ヘッダー情報はなし）
エラーが出るのはコードの問題ではなく、質問者さんの環境の問題ではないでしょうか？

Comments

[takochan1192]

コメントありがとうございました。そういうことだったのですね。気を付けます。ご指摘ありがとうございました。