BeautifulSoupでの取得について

Question

前提・実現したいこと

以下の画像内の選手名を取得したいのですが、Noneとなります。
取得するにはどうすれば良いのか全くの初心者なので、ご教授頂けると幸いです。

該当のソースコード

コード

以下は実行したソースコードです。

from bs4 import BeautifulSoup 
url = 'https://www.whoscored.com/Teams/19/Show/England-Leeds'
html = requests.get(url)
soup = BeautifulSoup(html.content,'html.parser')
class_tag = soup.find(class_='pn')
print(class_tag)
コード

発生している問題・エラーメッセージ

None

以上、宜しくお願いします。

Answer 1

コードとしては間違えてはいませんが
そもそもターゲットのURL先ではスクレイピングが禁止されている模様です。
(私も掲題のコードをテストしようとした所引っかかってしまい
IPがブロックされてしまい一定時間のアクセスができなくなりました。現在は復旧済)

本来スクレイピングが可能なサイトであれば
以下でおそらく抽出ができていたはずです。

import requests
from bs4 import BeautifulSoup

url = 'https://www.whoscored.com/Teams/19/Show/England-Leeds'
html = requests.get(url)
soup = BeautifulSoup(html.content,'html.parser')
playername_list = soup.find_all('a', class_='player-link').string

Comments

[bielsa]

出来ないサイトだったんですね。
スクレイピング出来るサイトと出来ないサイトでどう見分ければ良いか、
もし良ければご教示頂けると幸いです。

[nto]

掲題のサイトの場合であれば(https://www.whoscored.com/robots.txt)といった様に、robots.txtというファイルが配置されている場合[http://ルートドメイン/robots.txt]とアクセスする事で確認する事が出来ます。

https://www.octoparse.jp/blog/10-myths-about-web-scraping/
https://whitehatseo.jp/robots-txtの記述例と使い方を解説します/
など様々な解説されているサイトがあるのでまずはこれらから勉強していきましょう。

[bielsa]

詳細な回答を頂き誠に有り難う御座います。
お手数お掛けしました。
有り難う御座います。

Answer 2

この手のやつは、JavaScriptで表示を作っているんじゃないですかね。
print(html)で表示される中に、目的の情報はありますか？無いものは取れない。

Comments

[bielsa]

ご回答頂き有り難うございました。
どうもJavascriptで作っていると見分けがつかないので、
これから勉強して見分けがつくように出来ていければと思います。

[otn]

ブラウザで、「ソースを表示」と「開発者ツールでの表示」の差分がJavaScriptによる加工です。

[bielsa]

ご回答頂き有り難う御座います。
早速確認してみたいと思います。