質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.35%
Beautiful Soup

Beautiful Soupは、Pythonのライブラリの一つ。スクレイピングに特化しています。HTMLデータの構文の解析を行うために、HTMLタグ/CSSのセレクタで抽出する部分を指定することが可能です。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

selenium

Selenium(セレニウム)は、ブラウザをプログラムで作動させるフレームワークです。この原理を使うことにより、ブラウザのユーザーテストなどを自動化にすることができます。

Q&A

0回答

951閲覧

seleniumで1秒以下の速度で更新されるインナーテキストの取得

666_paru

総合スコア20

Beautiful Soup

Beautiful Soupは、Pythonのライブラリの一つ。スクレイピングに特化しています。HTMLデータの構文の解析を行うために、HTMLタグ/CSSのセレクタで抽出する部分を指定することが可能です。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

selenium

Selenium(セレニウム)は、ブラウザをプログラムで作動させるフレームワークです。この原理を使うことにより、ブラウザのユーザーテストなどを自動化にすることができます。

0グッド

2クリップ

投稿2021/01/05 09:11

編集2021/01/05 09:14

取得しようとしているのはテーブルデータで、毎秒数回更新されており、これを更新毎に取得したいです。
beautifulsoupでは、更新してパースしている時間に更新されてしまい、処理が追いつかずでした。

seleniumで取得できるのですが.textで文字列に変換する際に、更新されているためと思われるStaleElementReferenceExceptionがでてしまいます。

seleniumでは更新されており取得できず、beautifulsoupでは飛び飛びでしか取得できず、こちらの解決法を教えて頂きたく思います。

エラー内容

python

1selenium.common.exceptions.StaleElementReferenceException: Message: stale element reference: element is not attached to the page document

取得したいデータは以下のHTMLの①の部分です。
ここのデータが30秒間更新されていき、30秒後に確定した段階で1段下にずれて②の位置になり、①に新規でテーブルができます。

html

1<div id="chart"> 2 <div style="position: relative;wid~~~"> 3 <div style="position: absolute; left: ~~~" aria-label="A chart."> 4 <svg ~~~> 5 <div aria-label="data" style="position:===="> 6 <table> 7 <thead> 8 <tr> 9 <th>date</th> 10 <th>Pair1</th> 11 <th>Pair2</th> 12 </tr> 13 </thead> 14 <tbody> 15 <tr> ①・・・取得したいデータ(更新される) 16 <td>2021:01:04 15:32:30:00</td> 17 <td>84.032</td> 18 <td>50.896</td> 19 </tr> 20 21 <tr> ②・・・旧データ(更新されない) 22 <td>2021:01:04 15:32:00:00</td> 23 <td>84.532</td> 24 <td>50.996</td> 25 </tr> 26    ~~~~~~~ 27    ~~~~~~~

取得処理は以下のように記載しました。

python

1 driver.implicitly_wait(20) 2 driver.get(URL) 3 4 while True: 5 for e in driver.find_element_by_id('chart').find_elements_by_tag_name('td'): 6 print(e.text) 7       #TODO データ保存処理

詳しい方、お手数をおかけしますが教えてください。
よろしくお願いいたします。

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

guest

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

まだ回答がついていません

会員登録して回答してみよう

アカウントをお持ちの方は

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.35%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問