質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう！

質問する

ただいまの
回答率

88.35%

Beautiful SoupでHTMLの要素を抽出したい

解決済

回答 2

投稿

  • 評価
  • クリップ 1
  • VIEW 1,984
退会済みユーザー

退会済みユーザー

PythonでのWebスクレイピングに関して質問です。
ライブラリBeautifulSoupのfind_allでHTMLの要素を探したいのですが、
特定の要素を探そうとすると[](見つからなかった)が返ってきます。
具体的にはこのページのPerformanceの数値を取得するために<b>を探しています。
<a>や<div>等は正常に抽出されるため何がいけないのか検討もつきません。
原因や解決策があれば提示していただけるとうれしいです。 

#coding: UTF-8
import urllib2
from bs4 import BeautifulSoup

url = "https://osu.ppy.sh/u/8341091"
html = urllib2.urlopen(url)
soup = BeautifulSoup(html, "html.parser")

elm = soup.find_all("b")

print elm

  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 過去に投稿した質問と同じ内容の質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

more_vert6 件の質問への追記・修正依頼

質問への追記・修正、ベストアンサー選択の依頼

  • barobaro

    barobaro

    2018/12/11 11:51

    javascriptでレンダリングしないと表示されないようですが、Performanceの数値って具体的にどの数値なのでしょうか？画面キャプチャしたものか数値のタイトルを記載してください。

    キャンセル

  • Lhankor_Mhy

    Lhankor_Mhy

    2018/12/11 12:12

    開きなおしてもリダイレクトされるのでは……？

    キャンセル

  • 退会済みユーザー

    退会済みユーザー

    2018/12/11 17:16

    リンク先のページではGlobal Ranking: 78,837です(2018/12/11 16:53)。

    キャンセル

回答 2 件

link

checkベストアンサー

0

BeautifulsoupではJavaScriptでレンダリングできないので簡単なrequests-htmlをインストールしてください。

requests-html
https://html.python-requests.org/

インストール

pip install requests-html

プログラム

from requests_html import HTMLSession

# URLを入力
url = 'https://osu.ppy.sh/users/8341091'

session = HTMLSession()
r = session.get(url)

r.html.render()

ranking = r.html.find('div.value-display__value', first=True).text

print(ranking)

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2018/12/11 17:55

    回答ありがとうございます。
    早速やってみたのですが。インストールがうまくいっていないらしく実行時にエラーが出ます。
    構文エラー？みたいなんですけどソースコードの外らしく原因がいまいちわかりません。
    ```
    Traceback (most recent call last):
    File "reqHTML.py", line 2, in <module>
    from requests_html import HTMLSession
    File "/home/ユーザー名/.local/lib/python2.7/site-packages/requests_html.py", line 20
    def __init__(self, *, element, html=None, url):
    ^
    SyntaxError: invalid syntax
    ```

    キャンセル

  • 2018/12/11 18:30

    python3.6でないと動かないようです。
    ご使用のOSがubuntuでしたらpython3で実行してください。

    python3 --version
    でバージョン確認後3.6.Xでしたら
    インストール
    pip3 install requests-html --user

    python3 reqHTML.py
    で動くとおもいます。

    キャンセル

  • 2018/12/11 18:47

    無事動きました、丁寧なご指導ありがとうございます！

    キャンセル

link

0

Pythonでスクレイピング時にJavaScriptが必要か調べる
https://imabari.hateblo.jp/entry/2018/12/11/103841

のプログラムを利用

Javascriptのレンダリングにより
CSS 6 件　見つかりました
※requests-html, selenium, scrapy-splashでスクレイピングしてください
<b>Nightcore</b> mod enabled!
<b>DoubleTime</b> mod enabled!
<b>DoubleTime</b> mod enabled!
<b>Nightcore</b> mod enabled!
<b>Hidden</b> mod enabled!
<b>No Fail</b> mod enabled!

bタグの中にPerformanceの数値は含まれていません 

from requests_html import HTMLSession

# URLを入力
url = 'https://osu.ppy.sh/users/8341091'

# CSSまたはXPATHセレクタを入力
css = 'b'
xpath = ''


def view(data):

    for i in data:

        print(i.html)


def check(message, base, java):

    base_cnt = len(base)
    java_cnt = len(java)

    if base_cnt > 0:

        print(message, base_cnt, '件　見つかりました')
        view(base)

    elif java_cnt > 0:

        print('Javascriptのレンダリングにより')
        print(message, java_cnt, '件　見つかりました')
        print('※requests-html, selenium, scrapy-splashでスクレイピングしてください')
        view(java)

    else:

        print(message, '見つかりません。セレクタをご確認ください。')


if __name__ == '__main__':

    session = HTMLSession()
    r = session.get(url)

    with open('01_base.html', mode='w', encoding='utf-8') as fw:
        fw.write(r.html.html)

    # CSSセレクタ
    if css:

        base_css = r.html.find(css)

    # XPATH
    if xpath:

        base_xpath = r.html.xpath(xpath)

    # Javascriptレンダリング
    r.html.render()

    with open('02_java.html', mode='w', encoding='utf-8') as fw:
        fw.write(r.html.html)

    # CSSセレクタ
    if css:

        java_css = r.html.find(css)
        check('CSS', base_css, java_css)

    # XPATH
    if xpath:

        java_xpath = r.html.xpath(xpath)
        check('XPATH', base_xpath, java_xpath)

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

15分調べてもわからないことは、teratailで質問しよう！

  • ただいまの回答率 88.35%
  • 質問をまとめることで、思考を整理して素早く解決
  • テンプレート機能で、簡単に質問をまとめられる
質問する

関連した質問

同じタグがついた質問を見る

SNSアカウントでログイン

teratailアカウントでログイン

思考するエンジニアのためのQ&Aサイト「teratail」について詳しく知る