pythonでWebスクレイピングできない

Pythonであるサイトをスクレイピングしようとしているのですが、
値すら取得できないです。

import requests
from bs4 import BeautifulSoup


res = requests.get('http://bakusai.com/areatop/acode=7/')
soup = BeautifulSoup(res.content, 'html.parser')

for i in soup.find_all("dt"):
    for j in i.contents:
        print(j)
コード

色々なサイトを見ても参考になりませんでした。
タグもaタグもdivタグも全く出力されません。

beautifulsoupが使えないってことなのでしょうか。

tiitoi

2018/11/07 15:37

print(res.text) してみてください。403とでており、アクセスが弾かれています。試しにユーザーエージェントを設定したら別のページが表示されましたが、以前として対応してないブラウザといわれてしまいました。

goki_gottan

2018/11/07 21:44

ご回答ありがとうございます。スクレイピングできないという事なのでしょうか。

yamato_user

2018/11/09 11:07

横入り失礼します。HedlessChromeを使うと潜り抜けられるかもしれません。クローラー対策の度合いによりますが、おそらくはじかれるでしょうね。

goki_gottan

2018/11/12 15:47

HedlessChromeを確認しました。ご回答いただき、ありがとうございました。設定が難しそうですね、そもそも動的なHPなのか、アク禁止なのかさえ分からない状態です。

行動規範の内容に同意します

回答1件

ベストアンサー

出力結果はおそらく下記の様になっていますよね？

Python
1'<!DOCTYPE HTML PUBLIC "-//IETF//DTD HTML 2.0//EN">\n<html><head>\n<title>403 Forbidden</title>\n</head><body>\n<h1>Forbidden</h1>\n<p>You don\'t have permission to access /areatop/acode=7/\non this server.</p>\n</body></html>\n'

考えられる原因
クローラー対策をしている

対処法（2番が有力）
1:UserAgentをリクエストに与える
2:HeadlessChromeを使用する

最後に
がっつりクローラー対策をしているサイトは、上記の方法を試しても取得は困難です

投稿2018/11/12 06:14

yamato_user

総合スコア2321