AWS(Cloud9)でpythonを使い、ブラウザエンジンでHTMLを生成させて、スクレイピング

前提・実現したいこと

超素人の質問ですいません。AWS(Cloud9)でpythonを使い、ブラウザエンジンでHTMLを生成させて、スクレイピングをしようとしたのですが、ブラウザが閉じてしまい、終了してしまいました。

発生している問題・エラーメッセージ

Traceback (most recent call last):
  File "/home/ec2-user/environment/20201110 scraping2.py", line 10, in <module>
    r.html.render()
  File "/home/linuxbrew/.linuxbrew/Cellar/python@3.8/3.8.6/lib/python3.8/site-packages/requests_html.py", line 586, in render
    self.browser = self.session.browser  # Automatically create a event loop and browser
  File "/home/linuxbrew/.linuxbrew/Cellar/python@3.8/3.8.6/lib/python3.8/site-packages/requests_html.py", line 730, in browser
    self._browser = self.loop.run_until_complete(super().browser)
  File "/home/linuxbrew/.linuxbrew/Cellar/python@3.8/3.8.6/lib/python3.8/asyncio/base_events.py", line 616, in run_until_complete
    return future.result()
  File "/home/linuxbrew/.linuxbrew/Cellar/python@3.8/3.8.6/lib/python3.8/site-packages/requests_html.py", line 714, in browser
    self._browser = await pyppeteer.launch(ignoreHTTPSErrors=not(self.verify), headless=True, args=self.__browser_args)
  File "/home/linuxbrew/.linuxbrew/Cellar/python@3.8/3.8.6/lib/python3.8/site-packages/pyppeteer/launcher.py", line 305, in launch
    return await Launcher(options, **kwargs).launch()
  File "/home/linuxbrew/.linuxbrew/Cellar/python@3.8/3.8.6/lib/python3.8/site-packages/pyppeteer/launcher.py", line 166, in launch
    self.browserWSEndpoint = get_ws_endpoint(self.url)
  File "/home/linuxbrew/.linuxbrew/Cellar/python@3.8/3.8.6/lib/python3.8/site-packages/pyppeteer/launcher.py", line 225, in get_ws_endpoint
    raise BrowserError('Browser closed unexpectedly:\n')
pyppeteer.errors.BrowserError: Browser closed unexpectedly:

該当のソースコード

python
1from requests_html import HTMLSession
2
3url = "https://search.yahoo.co.jp/realtime"
4
5# セッション開始
6session = HTMLSession()
7r = session.get(url)
8
9# ブラウザエンジンでHTMLを生成させる
10r.html.render()
11
12# スクレイピング
13ranking_rows = r.html.find("div.lst.cf")
14ranking_list = []
15if ranking_rows:
16    # 1〜5位だけを取得
17    ranking_top5 = ranking_rows[0].find("p.que_3")
18    for item in ranking_top5:
19        ranking_list.append(item.text[2:])
20
21print(ranking_list)

試したこと

pyppeteerのエラーなので、試しに下記のコマンドを書いて実行しました。
（https://rinoguchi.hatenablog.com/entry/2020/08/09/004925を参考にしました。）

from pyppeteer.launcher import Launcher
import os

cmd: str = " ".join(Launcher().cmd)
print(f'cmd: {cmd}')
os.system(cmd)

すると、下記のエラーが出ました。

cmd: /home/ec2-user/.local/share/pyppeteer/local-chromium/588429/chrome-linux/chrome --disable-background-networking --disable-background-timer-throttling --disable-breakpad --disable-browser-side-navigation --disable-client-side-phishing-detection --disable-default-apps --disable-dev-shm-usage --disable-extensions --disable-features=site-per-process --disable-hang-monitor --disable-popup-blocking --disable-prompt-on-repost --disable-sync --disable-translate --metrics-recording-only --no-first-run --safebrowsing-disable-auto-update --enable-automation --password-store=basic --use-mock-keychain --headless --hide-scrollbars --mute-audio about:blank --remote-debugging-port=51403 --user-data-dir=/home/ec2-user/.local/share/pyppeteer/.dev_profile/tmprn51u4wk
/home/ec2-user/.local/share/pyppeteer/local-chromium/588429/chrome-linux/chrome: error while loading shared libraries: libXss.so.1: cannot open shared object file: No such file or directory

libXss.so.1がインストールされてないとのことでしたので、ターミナルから下記コマンドを実行しました。

sudo yum install libXss.so.1

すると下記エラーが出ました。

Loaded plugins: priorities, update-motd, upgrade-helper
amzn-main                                                                                                                   | 2.1 kB  00:00:00     
amzn-updates                                                                                                                | 3.8 kB  00:00:00     
1072 packages excluded due to repository priority protections
No package libXss.so.1 available.
Error: Nothing to do

libXss.so.1の在りかを探そうと下記コマンドを実行。

sudo yum whatprovides */libXss.so.1

下記エラーが出て、どうしたらいいかわからなくなりました。

Loaded plugins: priorities, update-motd, upgrade-helper
1072 packages excluded due to repository priority protections
epel/x86_64/filelists_db                                                                                                    | 7.9 MB  00:00:01     
No matches found