質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.50%
スクレイピング

スクレイピングとは、公開されているWebサイトからページ内の情報を抽出する技術です。

Python 3.x

Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

HTML

HTMLとは、ウェブ上の文書を記述・作成するためのマークアップ言語のことです。文章の中に記述することで、文書の論理構造などを設定することができます。ハイパーリンクを設定できるハイパーテキストであり、画像・リスト・表などのデータファイルをリンクする情報に結びつけて情報を整理します。現在あるネットワーク上のほとんどのウェブページはHTMLで作成されています。

Q&A

解決済

2回答

3483閲覧

pythonスクレイピング html読み込みができない

syosinsya01

総合スコア3

スクレイピング

スクレイピングとは、公開されているWebサイトからページ内の情報を抽出する技術です。

Python 3.x

Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

HTML

HTMLとは、ウェブ上の文書を記述・作成するためのマークアップ言語のことです。文章の中に記述することで、文書の論理構造などを設定することができます。ハイパーリンクを設定できるハイパーテキストであり、画像・リスト・表などのデータファイルをリンクする情報に結びつけて情報を整理します。現在あるネットワーク上のほとんどのウェブページはHTMLで作成されています。

0グッド

0クリップ

投稿2020/08/13 09:28

編集2020/08/13 09:40

前提・実現したいこと

プログラミング始めて2か月ほどの初心者です。

pythonで競馬の過去データまとめを行いたく
スクレイピングをしたいですが、
読み込みができないです。

htmlについてはほとんど無知のためそちらの知識で不足していることがあれば
教えていただけると助かります。

画面指定個所のデータを取得したいです。
イメージ説明

発生している問題・エラーメッセージ

データの読み込みができません
エラーメッセージはなく出力は「None」です。

html内に下記のコメント?があるのですが関係ありますでしょうか。

<!-- block=common__date_list (cp) -->

このコメント以下の取得ができていないように思います。

該当のソースコード

python3

#ライブラリ取得 import requests from bs4 import BeautifulSoup import re #url読み込み url = "https://race.netkeiba.com/top/race_list.html?kaisai_date=20200809&kaisai_id=2020040206&current_group=1020200808#racelist_top_a" res = requests.get(url) soup = BeautifulSoup(res.text, "html.parser") データの読み込み elems=soup.body.div.find(class_='RaceList_Date_Top clearfix').find(class_="ItemTitle") print(elems)

試したこと

セレクタによる読み込みも行いましたができませんでした。

補足情報(FW/ツールのバージョンなど)

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

guest

回答2

0

ベストアンサー

概ね、実現したいことはイメージできるのですが・・・
私がこの場でご説明するにはスペースが狭すぎますねm(_ _)m

python3

1#ライブラリ取得 2import urllib.request 3import lxml.html 4 5#url読み込み 6url = "https://race.netkeiba.com/top/race_list_sub.html?kaisai_date=20200809&current_group=1020200808" 7html = urllib.request.urlopen(url).read() 8 9# データの読み込み 10dom = lxml.html.fromstring(html) 11for elem in dom.xpath('//*[@class="ItemTitle"]'): 12 print(elem.text) 13

私はrequestsとbs4があまり好きじゃないので、、、すみません。
ちなみにrequestsだと文字化けします。
無知で回避方法がわからないので、やっぱりurllilbとlxmlに頼っちゃいますね。
定期的にしっかりやるときはpycurlです。

初心者とのことで、後学になれば幸いです。

投稿2020/08/13 12:16

al_aya_yuka

総合スコア98

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

syosinsya01

2020/08/16 00:52

お返事が遅くなり申し訳ありません。 ご回答いただいたプログラムを動作させたところ取得に成功しました。 まだ中身が全く分かっていないので勉強して理解を深めようと思います。 ありがとうございました。
al_aya_yuka

2020/08/17 03:05

全部ご説明いたしますと、長くなりそうでしたので、逆に全部省きましたが、まだ受付中とのことで気になる点がありましたら、追加コメントいただければと思います。
syosinsya01

2020/08/18 10:28

コメントいただきありがとうございます。 回答いただいたプログラムではURLがhtml内部のもの?担っているかと思うのですが 可能であればこちらのURLの取得もプログラミング上で行いたいのですが可能でしょうか。
al_aya_yuka

2020/08/19 05:35

確認いたしましたが、不可能ではないかと存じます。 HTML上にJSのコードやURLが記載されていればよいのですが、URLそのものも動的に生成されているようです。 この場合はURLパラメータもこちら側で生成するのが良いと思います。 パラメータは下記2つ kaisai_date  → 開催日 current_group  → よくわからないけど、必須ではなさそう 上記を踏まえて、毎日バッチで実行し、パラメータを本日に変えてあげればよいのではないでしょうか。 https://race.netkeiba.com/top/race_list_sub.html?kaisai_date=20200801 開催がない日は空が返るようですが、競馬が土日しかないというのであれば土日のみ動かすのが良いと思います。 一応開催日を取得するものもあるようです。 https://race.netkeiba.com/top/race_list_get_date_list.html?kaisai_date=20200808&encoding=UTF-8 クロールには時として裏口の突き合いになってしまわざるを得ないケースがあります。 WEBサイト側も同じエンジニアが作成しているのでエンジニアがやりそうなことを想定し、同じように踏んであげればよいと思います。 というより相手先の負荷を考えれば最短で必要な情報を取ることはむしろ取得側としてのマナーかもしれませんね。 よろしくお願いいたします。
al_aya_yuka

2020/08/19 05:40

すみません、URLはご掲示いただいているプログラムソースからしか見ていませんでしたが、本来人間のアクセスでは下記からアクセスするかと思います。 https://race.netkeiba.com/top/race_list.html その時、下記URLが呼ばれます https://race.netkeiba.com/top/race_list_get_date_list.html?kaisai_date=&encoding=UTF-8 この中にクロールしたいURLが含まれているので、こちらをスクレイピングしてたどります。 これが正しい遷移です。 混乱を招いて申し訳ありません。
syosinsya01

2020/08/19 08:50

ご回答いただきありがとうございます。 大変わかりやすく、またとても参考になりました。 過去のデータを取得する際にはURLのdate=に続けて日付を指定すれば取得できそうですね。 calenderモジュール、datetimeモジュールを使用すれば土日の日付も取得できそうなので 頑張ってみます。 ご意見いただきありがとうございました! seleniumで自動操作して取得可能か検討していたのですがつまずいていたところだったので とても助かりました!
guest

0

<div class="RaceList_Area">
<!-- block=common__race_list (d) --> <script type="text/javascript"> // $Id: race_list.html 19925 2019-02-25 01:26:38Z m-yoshimura $ で始まっている部分のことでしょうか? 「開催レース一覧」と表示されている部分は、JavaScript で生成されていますので、JavaScript の実行されない BeautifulSoup では、取得できないと思います。 Selenium 等の JavaScript を実行できる環境であれば、取得できる可能性はあります。

投稿2020/08/13 09:43

CHERRY

総合スコア25171

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

syosinsya01

2020/08/13 09:51

初歩的な質問に回答ありがとうございます。 そちらの方法で試してみます。
guest

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.50%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問