pythonを使ったスクレイピングで、span内のテキストが抽出できません

Question

前提・実現したいこと

span内のテキストを抽出したいです。

発生している問題・エラーメッセージ

URL = https://ehfcl.eurohandball.com/women/2020-21/player/ZtM-k_SFYU_lbwphYcnzTQ/cleopatre-darleux/

上記ページから、FACTSHEETに記載されている個人のデータを抽出したいのですが、

<div class="player-personal-info">内の <span class="info">部分のみ抽出できません。 見た目は文字列が並んでいるのですが、出力すると 下記の通り、{{details.player.person.〇〇}}となってしまいます。

#出力結果の例（.textなしの場合）
<span class="label">Weight:</span>
<span class="info">{{details.player.person.weight}} kg</span>

該当のソースコード

from bs4 import BeautifulSoup as bs
import requests as req

url = "https://ehfcl.eurohandball.com/women/2020-21/player/ZtM-k_SFYU_lbwphYcnzTQ/cleopatre-darleux/"
r = req.get(url)
soup = bs(r.text, "html.parser")
lists = []

player_infos = soup.find_all("div", class_="player-info-row")

for player_info in player_infos:
    datas = player_info.find_all("span")
    for data in datas:
        xxx = data.text
        lists.append(xxx)

for i in lists:
    print(i)

試したこと

ネットで検索しましたが、該当するような情報を得ることができませんでした。

補足情報（FW/ツールのバージョンなど）

ここにより詳細な情報を記載してください。

Answer 1

レンダリングさせるためにHTMLSessionを使ってみました。
ただし、
resp.html.render()
だけではうまく取得できなかったため、さらに
resp.html.render(sleep=1, keep_page=True)
としてみました。

これでどうでしょう。（変更前のあなたのコードは#でコメントアウトしています）

from bs4 import BeautifulSoup as bs
#import requests as req
from requests_html import HTMLSession

#url = "https://ehfcl.eurohandball.com/women/2020-21/player/ZtM-k_SFYU_lbwphYcnzTQ/cleopatre-darleux/"
#r = req.get(url)
#soup = bs(r.text, "html.parser")

session = HTMLSession()
resp = session.get("https://ehfcl.eurohandball.com/women/2020-21/player/ZtM-k_SFYU_lbwphYcnzTQ/cleopatre-darleux/")
resp.html.render(sleep=1, keep_page=True)
soup = bs(resp.html.html, "html.parser")

参考にしたサイト：
https://gammasoft.jp/blog/how-to-download-web-page-created-javascript/
https://stackoverflow.com/questions/56745062/data-scraping-from-a-webpage-with-javascript-using-python

Comments

[AKICHILD]

回答ありがとうございます。

上記のご回答を参考にさせていただきました。
resp.html.render(sleep=1, keep_page=True)では、
pyppeteer.errors.TimeoutError: Navigation Timeout Exceeded: 8000 ms exceeded.のエラーが出てしまったため、下記のように、修正してみました。

from bs4 import BeautifulSoup as bs
from requests_html import HTMLSession

session = HTMLSession()
resp = session.get("https://ehfcl.eurohandball.com/women/2020-21/player/ZtM-k_SFYU_lbwphYcnzTQ/cleopatre-darleux/")
resp.html.render(timeout=20, keep_page=True)
soup = bs(resp.html.html, "html.parser")

lists = []

datas = resp.html.find(".info")
for data in datas:
xxx = data.text
lists.append(xxx)

print(lists)

しかし、出力はこの通りでした。
[',', '', '', '', 'cm', 'kg']

何がいけないのでしょうか…。

参考にしたサイト：
https://laboratory.kazuuu.net/install-requests-html-that-can-parse-html-as-simply-as-possible-windows10/

Answer 2

from bs4 import BeautifulSoup as bs
#import requests as req
from requests_html import HTMLSession

#url = "https://ehfcl.eurohandball.com/women/2020-21/player/ZtM-k_SFYU_lbwphYcnzTQ/cleopatre-darleux/"
#r = req.get(url)
#soup = bs(r.text, "html.parser")

session = HTMLSession()
resp = session.get("https://ehfcl.eurohandball.com/women/2020-21/player/ZtM-k_SFYU_lbwphYcnzTQ/cleopatre-darleux/")
resp.html.render(sleep=1, keep_page=True)
soup = bs(resp.html.html, "html.parser")

lists = []

player_infos = soup.find_all("div", class_="player-info-row")

for player_info in player_infos:
    datas = player_info.find_all("span")
    for data in datas:
        xxx = data.text
        lists.append(xxx)

for i in lists:
    print(i)

上記コードをtera.py として、
また、処理時間を測定するためにtimeコマンド下で実行してみた
結果は以下となっています。

$ time python tera.py 
Name:
Darleux, Cleopatre
Age:
31
Place of birth:
Mulhouse
Nationality:
France
Height:
176 cm
Weight:
72 kg

real	0m8.710s
user	0m1.160s
sys	0m0.312s

8.7秒、と結構時間がかかっていますが、情報は取得できています。
何でしょうね、そちらで取得できないのは。。。

Comments

[AKICHILD]

早い対応ありがとうございます。

再起動させてみたところ、上記コードで取得することができました。

ありがとうございました。