質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.46%
AWS Lambda

AWS Lambdaは、クラウド上でアプリを実行できるコンピューティングサービス。サーバーのプロビジョニングや管理を要せず複数のイベントに対してコードを実行します。カスタムロジック用いた他AWSサービスの拡張やAWSの規模やパフォーマンスを用いたバックエンドサービスを作成できます。

Python 3.x

Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

Q&A

解決済

1回答

2420閲覧

aws lambdaにてrequests_htmlライブラリでレンダリングする際にOSErrorとなる

hgleam

総合スコア26

AWS Lambda

AWS Lambdaは、クラウド上でアプリを実行できるコンピューティングサービス。サーバーのプロビジョニングや管理を要せず複数のイベントに対してコードを実行します。カスタムロジック用いた他AWSサービスの拡張やAWSの規模やパフォーマンスを用いたバックエンドサービスを作成できます。

Python 3.x

Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

1グッド

0クリップ

投稿2021/08/14 04:28

編集2021/08/14 12:00

実現したいこと

pythonのrequests_htmlライブラリを利用してあるサイトの画面キャプチャを取得したいと考えております。

実装したソースコード

以下に実装したコードを記します。

python

1from requests_html import AsyncHTMLSession 2 3import json 4 5def hello(event, context): 6 asession = AsyncHTMLSession() 7 8 async def process(): 9 url = "https://google.com" 10 11 r = await asession.get(url) 12 await r.html.arender(wait=3, sleep=3, keep_page=True) 13 await r.html.page.screenshot({"path": "/tmp/ss.png", "fullPage": True}) 14 return r 15 16 r = asession.run(process)[0] 17 18 body = {"message": "Go Serverless v1.0! Your function executed successfully!", "input": event} 19 20 response = {"statusCode": 200, "body": json.dumps(body)} 21 22 return response

発生している問題・エラーメッセージ

以下のエラーが表示されてしまい、処理が終了してしまいます。
エラー内容を見る限りでは、arenderの際に'/home/sbx_user1051'に情報を書き込もうとしているが、
tmp領域にしか書き込めないはずなため、エラーとなっているように見える。

"errorMessage": "[Errno 30] Read-only file system: '/home/sbx_user1051'", "errorType": "OSError", "stackTrace": [ " File \"/var/task/handler.py\", line 19, in hello\n r = asession.run(process)[0]\n", " File \"/var/task/requests_html.py\", line 775, in run\n return [t.result() for t in done]\n", " File \"/var/task/requests_html.py\", line 775, in <listcomp>\n return [t.result() for t in done]\n", " File \"/var/task/handler.py\", line 15, in process\n await r.html.arender(wait=3, sleep=3, keep_page=True)\n", " File \"/var/task/requests_html.py\", line 615, in arender\n self.browser = await self.session.browser\n", " File \"/var/task/requests_html.py\", line 714, in browser\n self._browser = await pyppeteer.launch(ignoreHTTPSErrors=not(self.verify), headless=True, args=self.__browser_args)\n", " File \"/var/task/pyppeteer/launcher.py\", line 306, in launch\n return await Launcher(options, **kwargs).launch()\n", " File \"/var/task/pyppeteer/launcher.py\", line 112, in __init__\n CHROME_PROFILE_PATH.mkdir(parents=True)\n", " File \"/var/lang/lib/python3.8/pathlib.py\", line 1292, in mkdir\n self.parent.mkdir(parents=True, exist_ok=True)\n", " File \"/var/lang/lib/python3.8/pathlib.py\", line 1292, in mkdir\n self.parent.mkdir(parents=True, exist_ok=True)\n", " File \"/var/lang/lib/python3.8/pathlib.py\", line 1292, in mkdir\n self.parent.mkdir(parents=True, exist_ok=True)\n", " [Previous line repeated 1 more time]\n", " File \"/var/lang/lib/python3.8/pathlib.py\", line 1288, in mkdir\n self._accessor.mkdir(self, mode)\n" ] }

調査して分かったこと(2021/08/14 更新)

arender()で内部的に呼び出ししているpyppeteerに問題がありそう。
初回起動時にChromiumをダウンロードしてきているが、そのダウンロード先がtmpディレクトリではないため、
書き込み権限がなくエラーとなっている。

nonono421👍を押しています

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

guest

回答1

0

自己解決

結論としては、
arender()内部で実行しているpyppeteerの初回ダウンロード先を外部から設定できなそうなため断念。
以下の記事を参考に ページ遷移はpypeteer、HTML解析はrequests_htmlを利用することとしました。

https://medium.com/limehome-engineering/running-pyppeteer-on-aws-lambda-with-serverless-62313b3fe3e2

投稿2021/08/15 12:42

hgleam

総合スコア26

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.46%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問