質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

ただいまの
回答率

90.48%

  • Python

    8647questions

    Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

このサイトのスクレイピングを教えてください。beautifusoup python

解決済

回答 2

投稿 編集

  • 評価
  • クリップ 0
  • VIEW 328

MitMc

score 21

http://race.netkeiba.com/?pid=payback_list&id=p2018050301
このサイトの勝馬の全レースの単勝人気をスクレイピングで取得したいのですがうまくいきません。

1レース目のタグにはクラスがあって出来たのですが、2レース目のタグにはクラスがなく、上手くいきません。
1レース目の勝馬の単勝人気を取得したコードを下記に記します。
2レース目には同様のクラスがなく、取得できません。

取得方法をコードとともに教えてください。

import urllib.request
from bs4 import BeautifulSoup
#指定するURL
url = "http://race.netkeiba.com/?pid=payback_list&id=p2018050301"

html = urllib.request.urlopen(url)
soup = BeautifulSoup(html, "html.parser")
print(soup)

market = soup.find('td', class_='cellcolor_1')
market
print(market.text)
  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

質問への追記・修正、ベストアンサー選択の依頼

  • 退会済みユーザー

    2018/06/10 23:06

    複数のユーザーから「やってほしいことだけを記載した丸投げの質問」という意見がありました
    「質問を編集する」ボタンから編集を行い、調査したこと・試したことを記入していただくと、回答が得られやすくなります。

回答 2

checkベストアンサー

+2

market = soup.find('td', class_='cellcolor_1')

クラス指定が列:人気を取得するコードになっていますが・・・

◇スクレイピングの基本。
取得したい要素の上位のタグから下に手繰っていく。
HTMLのセレクタ指定と発想は同じです。

# -*- coding: utf-8 -*-
from urllib.request import urlopen
from bs4 import BeautifulSoup


def main() -> None:
    # 指定するURL
    URL = "http://race.netkeiba.com/?pid=payback_list&id=p2018050301"
    html = urlopen(URL)
    soup = BeautifulSoup(html, "html.parser")
    print(soup)

    for table in soup.find_all('table', class_='race_table_01'):
        for val in table.find_all('td', class_='txt_r'):
            print(val.text)
            break


if __name__ == '__main__':
    main()


◇参考情報
[netkeiba] の検索結果


218/06/10追記

# -*- coding: utf-8 -*-
from itertools import filterfalse
from urllib.request import urlopen
from bs4 import BeautifulSoup


def main() -> None:
    # 指定するURL
    URL = "http://race.netkeiba.com/?pid=payback_list&id=p2018050301"
    html = urlopen(URL)
    soup = BeautifulSoup(html, "html.parser")
    print(soup)
    print('#' * 60)

    for tr in soup.select("table.race_table_01 > tr.bml1"):
        for rank in filterfalse(lambda x: x.renderContents().decode() != "1", tr.select("td:nth-of-type(1)")):
            for popular in tr.select("td:nth-of-type(12)"):
                print(popular.renderContents().decode())
                break
        # filterfalseは以下の行と同じです
        #for rank in tr.select("td:nth-of-type(1)"):
        #    if rank.renderContents().decode() != "1":
        #        continue
        #    for popular in tr.select("td:nth-of-type(12)"):
        #       print(popular.renderContents().decode())
        #        break


if __name__ == '__main__':
    main()


◇参考情報

  1. itertools.filterfalse
  2. Pythonスクレイピング:同じ名前のクラス内での識別
  3. :nth-of-type()

投稿

編集

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2018/06/10 21:49

    早速のご回答ありがとうございます。私の質問が間違っていました。申し訳ございません。勝馬のオッズ情報ではなく、その隣の何番人気(着順テーブルの右端)が来たかの情報を取得したいのですが、上記コードの'txt_r'のようにクラスがないので、そのような場合、どのようなコードになるでしょうか?

    キャンセル

  • 2018/06/10 21:55 編集

    >MitMcさんへ
    質問が間違ってたというのであれば、他の回答者さんが質問を見たときに誤解が発生する可能性があるので、質問文は修正できるので修正してくださいな。

    キャンセル

  • 2018/06/10 22:31

    質問修正できました。
    ありがとうございます。

    キャンセル

  • 2018/06/12 00:23

    回答誠にありがとうございます。実際に求めた値が抽出できました。
    ちなみに、 # if rank.renderContents().decode() != "1":
    # continue
    # for popular in tr.select("td:nth-of-type(12)"):
    のところを、
    if rank.renderContents().decode() = "1":
    # for popular in tr.select("td:nth-of-type(12)"):

    に書き換えると、エラーになるのはなぜでしょうか?
    どちらも同じ意味になる気がするのですが。

    キャンセル

  • 2018/06/12 02:32 編集

    >MitMcさんへ
    いえ、=ひとつなので、代入文になってます。==です。
    if文を使うとインデントが深くなってコードが読みづらくなるので、できるだけ条件を反転させたほうがよいですよ。あとエラーになったら、できるだけエラー文言を記載してくださいな。

    キャンセル

  • 2018/06/12 12:34

    凡ミスすみません。エラー文も次回から記載します。ほんとに助かります。ありがとうございます。

    キャンセル

0

適当なclassやidが無い場合は、何番目のタグかとか、目印になるテキストとかを探して使います。

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2018/06/10 21:26

    ご回答ありがとうございます。目印になるテキストを使用して、スクレイピングするにはどうした良いのでしょうか?

    キャンセル

15分調べてもわからないことは、teratailで質問しよう!

  • ただいまの回答率 90.48%
  • 質問をまとめることで、思考を整理して素早く解決
  • テンプレート機能で、簡単に質問をまとめられる

関連した質問

  • 解決済

    python3スクレイピングについて

    import urllib.request from bs4 import BeautifulSoup html = urllib.request.urlopen('http:

  • 解決済

    PythonでWebスクレイピングを行うと文字化けします。

    pythonでWebスクレイピングを行おうとしているのですが、出力が文字化けします。 下記のコードが文字化けしている出力です。sucraping_naver.pyのファイルを実行

  • 解決済

    Pythonにて

    例えばhttp://sample.com/a/b/c/d/e/1?ima=0000&cd=member にブログの1ページ目があるとします。 2ページ目は http://sa

  • 解決済

    pythonでimportがうまくいかない【Webスクレイピング】

    Webスクレイピングがしたくて初めてpythonを触るのですが http://qiita.com/Azunyan1111/items/9b3d16428d2bcc7c9406 を参

  • 解決済

    Pythonスクレイピング

     前提・実現したいこと Yahoo画像検索を使用して画像を集めまくるプログラムを作成したいのです。※超初心者です。  発生している問題 bs4で画像のURLを取得する方法が解ら

  • 解決済

    スクレイピングしたい...

    pythonでスクレイピングについて学習しています。 先日こちらのサイトで大変参考になる解答をしていただいたのですがどうしても自分の抜き出したい情報を抜き出す方法がわからなかったの

  • 解決済

    Python3でのWebスクレイピング

     BeautifulSoupを使用したWebスクレイピング Python3のBeautifulSoupを使用し、下記のサイトのWebスクレイピングに挑戦しています。 指定したcla

  • 解決済

    pythonによるスクレイピングでHTMLを取得したい

    pythonでrequestsを使って、WebページからHTMLを取得しようとしています。 具体的には読書メーターのページの作家名を検索した時のHTMLを取得したいのですが、 ht

同じタグがついた質問を見る

  • Python

    8647questions

    Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。