pythonのrequest HTMLによるスクレイビングのプログラムのエラー修正

Question

pythonでrequest HTMLからスクレイビングをするプログラムを組んでいるのですが

from requests_html import HTMLSession

session = HTMLSession()
r = session.get('https://www.jpx.co.jp/')



r.html.render()
tpx = r.html.find('.chart-box', first=True)

print(tpx.text)

これを実行したところ

Cannot use HTMLSession within an existing event loop. Use AsyncHTMLSession instead.

というエラーが出たので

from requests_html import AsyncHTMLSession

session = AsyncHTMLSession()
r = session.get('https://www.jpx.co.jp/')



r.html.render()
tpx = r.html.find('.chart-box', first=True)

print(tpx.text)

と修正したところ

AttributeError: '_asyncio.Future' object has no attribute 'html'

というエラーが出て実行できません。どうしたらいいのでしょうか。

Answer 1

bs4を使ったほうがいいと思います(AsyncHTMLSession(HTMLSession)を使用する理由がなければ)

from requests_html import AsyncHTMLSession


def wait_render():
    assesion = AsyncHTMLSession()

    async def process():
        r = await assesion.get('https://www.jpx.co.jp/')
        await r.html.arender(wait=5, sleep=5)
        tpx = r.html.find('.chart-box', first=True)
        return tpx

    tpx = assesion.run(process)[0]
    print(tpx)


if __name__ == "__main__":
    wait_render()