requests-htmlでレンダリング箇所でエラー

Question

実現したいこと

webサイトからテキスト情報を取得しようとしています。
javaを使っているサイトの場合、Beautifulsoupは使えずrequests-htmlを使えばいいことがわかりました。
解説サイトを参考に、まずはgoogle検索をしてみたらレンダリングの箇所でエラーが発生します。
これはどのサイトで実行しても同じでした。
対処の仕方がわかりません。
ご教示をお願いします。

発生している問題・エラーメッセージ

Traceback (most recent call last):
  File "C:\Users\Administrator\AppData\Local\Programs\Python\Python38\lib\runpy.py", line 193, in _run_module_as_main
    return _run_code(code, main_globals, None,
  File "C:\Users\Administrator\AppData\Local\Programs\Python\Python38\lib\runpy.py", line 86, in _run_code
    exec(code, run_globals)
  File "c:\Users\Administrator\.vscode\extensions\ms-python.python-2022.6.3\pythonFiles\lib\python\debugpy\__main__.py", line 45, in <module>
    cli.main()
  File "c:\Users\Administrator\.vscode\extensions\ms-python.python-2022.6.3\pythonFiles\lib\python\debugpy/..\debugpy\server\cli.py", line 444, in main
    run()
  File "c:\Users\Administrator\.vscode\extensions\ms-python.python-2022.6.3\pythonFiles\lib\python\debugpy/..\debugpy\server\cli.py", line 285, in run_file
    runpy.run_path(target_as_str, run_name=compat.force_str("__main__"))
  File "C:\Users\Administrator\AppData\Local\Programs\Python\Python38\lib\runpy.py", line 263, in run_path
    return _run_module_code(code, init_globals, run_name,
  File "C:\Users\Administrator\AppData\Local\Programs\Python\Python38\lib\runpy.py", line 96, in _run_module_code
    _run_code(code, mod_globals, init_globals,
  File "C:\Users\Administrator\AppData\Local\Programs\Python\Python38\lib\runpy.py", line 86, in _run_code
    exec(code, run_globals)
  File "c:\Users\Administrator\Documents\xxxxxxxx\PY\test.py", line 11, in <module>
    r.html.render(timeout=0, sleep=10)
  File "C:\Users\Administrator\AppData\Local\Programs\Python\Python38\lib\site-packages\requests_html.py", line 586, in render
    self.browser = self.session.browser  # Automatically create a event loop and browser
  File "C:\Users\Administrator\AppData\Local\Programs\Python\Python38\lib\site-packages\requests_html.py", line 730, in browser
    self._browser = self.loop.run_until_complete(super().browser)
  File "C:\Users\Administrator\AppData\Local\Programs\Python\Python38\lib\asyncio\base_events.py", line 612, in run_until_complete
    return future.result()
  File "C:\Users\Administrator\AppData\Local\Programs\Python\Python38\lib\site-packages\requests_html.py", line 714, in browser
    self._browser = await pyppeteer.launch(ignoreHTTPSErrors=not(self.verify), headless=True, args=self.__browser_args)
  File "C:\Users\Administrator\AppData\Local\Programs\Python\Python38\lib\site-packages\pyppeteer\launcher.py", line 307, in launch
    return await Launcher(options, **kwargs).launch()
  File "C:\Users\Administrator\AppData\Local\Programs\Python\Python38\lib\site-packages\pyppeteer\launcher.py", line 168, in launch
    self.browserWSEndpoint = get_ws_endpoint(self.url)
  File "C:\Users\Administrator\AppData\Local\Programs\Python\Python38\lib\site-packages\pyppeteer\launcher.py", line 227, in get_ws_endpoint
    raise BrowserError('Browser closed unexpectedly:\n')
pyppeteer.errors.BrowserError: Browser closed unexpectedly:

該当のソースコード

from requests_html import HTMLSession

session = HTMLSession()
#検索に利用するサイト
url = "https://www.google.com/"
#検索するワード
word = "python"
r = session.get(url + "search?q=" + word)
r.html.render()

試したこと

タイムアウト等のオプションを設定
r.html.render(timeout=0, sleep=10)　エラー内容に変化なし

補足情報（FW/ツールのバージョンなど）

os: Windows
python: 3.8.1

Answer 1

実行してみましたがそのエラーは発生しませんでした。

※以下の部分は最後に)を追加して実行しました。

r = session.get(url + "search?q=" + word

質問のエラーが再現するコードを提示ください。
実行できないコードが掲載されているということは、実行コードとは別の可能性があります。

なお、Googleはスクレイピングを禁止しているとかteratailの別の質問で見た気がするので、そもそもできない気がします。

Comments

[azzuro]

コメントありがとうございます。
ご指摘のあった閉じカッコが抜けていた部分はコピペミスです。
コード欄を修正しました。
また、google以外のどのサイトも同様の事象になることを追記しました。

[FiroProchainezo]

別サイトでもやってみましたが、同様にエラーは発生しませんでした。
Python3.9でも動作させてみましたが変わりませんでした。
環境が異なる気がします。

`pyppeteer.errors.BrowserError: Browser closed unexpectedly:`で検索すると、`requests_html`が動作していないのではなく、pyppetterが動作していないような記載が見当たりました。
requests_htmlは初回起動時に裏でブラウザや上記SWを勝手にダウンロードしているようで、ダウンロードがうまくいかないとよくわからないエラーが発生することがあります。
Proxy内で実行する場合、Proxyを設定する仕組みがないようなので、動作しないなどの問題があるようです。
似たような理由でpyppeteerがダウンロードできなかったとか、おかしな状態になっている可能性があります。

環境を新しく作り直してやり直してみてはいかがでしょうか。
または、マニュアルでpyppetterをダウンロードして、requests_htmlが必要としている場所に配置して試してみるというのもありかもしれません。

[azzuro]

どうやらライブラリが不足しているようです。
下記を実行すればよいとの記事を見つけました。
ただwindows環境なので、どうインストールしたらいいかわかりません。
`sudo apt-get update
sudo apt-get install -y libatk1.0-0
sudo apt-get install -y libatk-bridge2.0-0
sudo apt-get install -y libgtk-3-0`

Proxy内での実行になるので、私の環境では難しいのかもしれませんね。
そうなると、seleniumを使う方がいいのでしょうか。

[FiroProchainezo]

不足しているものをどのようにインストール(ダウンロード)すれば良いのかの記述は見当たらなかったので(Ubuntuならあるんですが、Windowsのものは見当たらない)、
そこを頑張って解決するよりもseleniumで解決できるならそちらでやってしまった方が楽かもしれません。
seleniumならProxy内でも動きましたし。

[azzuro]

インストールが難しそうなので、今seleniumuを試し始めました。
さっそくProxyでひっかかっています。
'options.add_argument('--proxy-server=http://xxxxx.co.jp:8080')
driver = webdriver.Chrome(options=options)'
これでいけるかと思いきや。。。

[FiroProchainezo]

Proxyは典型的な「おま環」っていうやつなので具体的なアドバイスができません。(というか、大抵同じ回答が付いて解決しない。)

以下のページによると、記載いただいた内容と全く違う書き方をしているものがありますので、こういうのも試してみてはいかがでしょうか。
https://www.selenium.dev/documentation/webdriver/capabilities/shared/#proxy

[azzuro]

色々とアドバイスをありがとうございます。
ご提示いただいたサイトも参考にさせていただきます。