BeautifulSoupを使って動的なページのスクレイピングをしたい

Question

BeautifulSoupを使って動的なページのスクレイピングをしたいのですが、つまづいております。

動的なページでclassのxxxが存在する場合としない場合があり、存在しない場合は『AttributeError: 'NoneType' object has no attribute 'string'』のエラーメッセージが出でしまうので、
エラーメッセージを出さずに、xxxが現れるまでループさせるようにするにはどのようにしたらよいでしょうか。

while True:
    driver.refresh()
    time.sleep(60)
    page_source = driver.page_source
    soup = BeautifulSoup(page_source, 'html.parser')
    AAA = soup.find(class_='xxx').string
    print(AAA)

        break
``

Comments

[yuma.inaura]

コードはコードブロックで囲いましょう

[hiroandstitch]

指摘ありがとうございます。囲いました。

[meg_]

> xxxが現れるまでループさせるようにする
待っていれば現れるのですか？

[hiroandstitch]

現れている時と現れてない時があるので、リロードをして最新状況を確認するようにしたいです。ずっと現れてる時もあれば1日に数分しか現れてないときもあります。

[hiroandstitch]

現れている状態の時に値が取れることは確認しております。

[hoshi-takanori]

スクレイピングで毎分アクセスとか嫌がらせでは。また、動的なページはブラウザ上で JavaScript を実行して表示内容を生成してるわけですが、BeautifulSoup には JavaScript を動かす機能はないような…。

[meg_]

hoshi-takanoriさん
質問やコードに明記はされていませんが、おそらくSeleniumを使用しているのでしょうね。「1日に数分しか現れてないときもあります」というデータをスクレイピングで取得したい、とういのは現実的ではないと私も思います。

[meg_]

> 現れている時と現れてない時があるので、リロードをして最新状況を確認するようにしたいです。ずっと現れてる時もあれば1日に数分しか現れてないときもあります。
どのようなサイトか知りませんが、APIは用意されていませんか？サイトをスクレイピングで監視するのは推奨されないでしょう。頻繁なアクセスは攻撃とみなされてブロックされる可能性があるかと思います。

Answer 1

try-except文で、エラーをキャッチすれば良いのではないでしょうか？

以下、サンプルコードとなります。

while True:
    time.sleep(60)

    try:
        AAA = soup.find(class_="xxx")
        print(str(AAA))
        break
    except AttributeError as e:
        print("AttributeErrorエラーが発生しました。")


print("処理終了")

Comments

[hiroandstitch]

ご教示いただきありがとうございます。試してみたのですが、現れていないときは"AttributeErrorエラーが発生しました。"ではなく"none"‘が帰ってきて処理終了となってしまいました。

[hiroandstitch]

上記回答がヒントとなり、解決しました。ありがとうございました。