質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
87.20%
AWS Lambda

AWS Lambdaは、クラウド上でアプリを実行できるコンピューティングサービス。サーバーのプロビジョニングや管理を要せず複数のイベントに対してコードを実行します。カスタムロジック用いた他AWSサービスの拡張やAWSの規模やパフォーマンスを用いたバックエンドサービスを作成できます。

Python 3.x

Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

selenium

Selenium(セレニウム)は、ブラウザをプログラムで作動させるフレームワークです。この原理を使うことにより、ブラウザのユーザーテストなどを自動化にすることができます。

解決済

AWS Lambda (python)でseleniumを使ってwebスクレイピングを行いたい

agtrer
agtrer

総合スコア21

AWS Lambda

AWS Lambdaは、クラウド上でアプリを実行できるコンピューティングサービス。サーバーのプロビジョニングや管理を要せず複数のイベントに対してコードを実行します。カスタムロジック用いた他AWSサービスの拡張やAWSの規模やパフォーマンスを用いたバックエンドサービスを作成できます。

Python 3.x

Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

selenium

Selenium(セレニウム)は、ブラウザをプログラムで作動させるフレームワークです。この原理を使うことにより、ブラウザのユーザーテストなどを自動化にすることができます。

1回答

-1評価

0クリップ

409閲覧

投稿2022/04/14 08:40

実現したいこと

AWS Lambda (python)でseleniumを使ってwebスクレイピングを行いたいが、
Lambda実行時にエラー発生するため、エラーを解消したい

問題点

まずは find_element_by_name で要素の取得を行えるかを確認しようとしたところ、
下記のコードをLambdaに書いてテスト実行するとエラーが発生する。

  • ソースコード
# python配下自動でimport from selenium import webdriver from selenium.webdriver.support.select import Select def lambda_handler(event, context): # webサイトにアクセス URL = "https://www.net.city.nagoya.jp/cgi-bin/sp05001" options = webdriver.ChromeOptions() options.add_argument("--headless") options.add_argument("--disable-gpu") options.add_argument("--hide-scrollbars") options.add_argument("--single-process") options.add_argument("--ignore-certificate-errors") options.add_argument("--window-size=880x996") options.add_argument("--no-sandbox") options.add_argument("--homedir=/tmp") options.binary_location = "/opt/headless/python/bin/headless-chromium" #ブラウザの定義 browser = webdriver.Chrome( "/opt/headless/python/bin/chromedriver", options=options ) browser.get(URL) title = browser.title syumoku = browser.find_element_by_name('syumoku') # 種目の要素を取得 Select(syumoku).select_by_index(23) # バスケットボールを選択 browser.close() return
  • エラーメッセージ
{ "errorMessage": "Message: no such element: Unable to locate element: {\"method\":\"css selector\",\"selector\":\"[name=\"syumoku\"]\"}\n (Session info: headless chrome=64.0.3282.167)\n (Driver info: chromedriver=2.37.544315 (730aa6a5fdba159ac9f4c1e8cbc59bf1b5ce12b7),platform=Linux 4.14.255-273-220.498.amzn2.x86_64 x86_64)\n", "errorType": "NoSuchElementException", "stackTrace": [ " File \"/var/task/lambda_function.py\", line 30, in lambda_handler\n syumoku = browser.find_element_by_name('syumoku') # 種目の要素を取得\n", " File \"/opt/python/lib/python3.7/site-packages/selenium/webdriver/remote/webdriver.py\", line 665, in find_element_by_name\n return self.find_element(by=By.NAME, value=name)\n", " File \"/opt/python/lib/python3.7/site-packages/selenium/webdriver/remote/webdriver.py\", line 1250, in find_element\n 'value': value})['value']\n", " File \"/opt/python/lib/python3.7/site-packages/selenium/webdriver/remote/webdriver.py\", line 425, in execute\n self.error_handler.check_response(response)\n", " File \"/opt/python/lib/python3.7/site-packages/selenium/webdriver/remote/errorhandler.py\", line 247, in check_response\n raise exception_class(message, screen, stacktrace)\n" ] }

nameタグの'syumoku'がないというエラーだと思いますが、
今回指定したwebサイトを確認するとnameタグの'syumoku'は確認できる。
何が問題でエラーなのかが分かりません。

事前に確認したこと

https://qiita.com/ichihara-development/items/5e61c3424b3176bc6096
のページを参考にさせて頂き、サンプルコードでの動作確認は実施済です。
特にエラーは発生しなかったので、selenium、chromedriver、headless-chromium
のインストールやLambdaレイヤーの作成などは問題ないと思っています。

  • サンプルコード
# python配下自動でimport from selenium import webdriver def lambda_handler(event, context): URL = "https://news.yahoo.co.jp/" options = webdriver.ChromeOptions() options.add_argument("--headless") options.add_argument("--disable-gpu") options.add_argument("--hide-scrollbars") options.add_argument("--single-process") options.add_argument("--ignore-certificate-errors") options.add_argument("--window-size=880x996") options.add_argument("--no-sandbox") options.add_argument("--homedir=/tmp") options.binary_location = "/opt/headless/python/bin/headless-chromium" #ブラウザの定義 browser = webdriver.Chrome( "/opt/headless/python/bin/chromedriver", options=options ) browser.get(URL) title = browser.title browser.close() return title
  • ログ貼り付け
実行結果: 成功(ログ) 詳細 関数の実行から返された結果が以下のエリアに表示されます。関数から結果を返す方法の詳細については、こちらをご参照ください。 "Yahoo!ニュース" 概要 コード SHA-256 c58SQmsfJ1iD9xs4GXsFXLg1ZOp6Pkf6QvmHWvW98d4= リクエスト ID 07ad0c56-b30b-4efe-a6d8-01f36f4a72cc 初期所要時間 243.01 ms 所要時間 37484.14 ms 課金期間 37485 ms 設定済みリソース 256 MB 使用中の最大メモリ 256 MB ログ出力 以下のセクションでは、コード内のロギング呼び出しを示しています。ここをクリックし、 で対応する CloudWatch ロググループを表示できます。 START RequestId: 07ad0c56-b30b-4efe-a6d8-01f36f4a72cc Version: $LATEST END RequestId: 07ad0c56-b30b-4efe-a6d8-01f36f4a72cc REPORT RequestId: 07ad0c56-b30b-4efe-a6d8-01f36f4a72cc Duration: 37484.14 ms Billed Duration: 37485 ms Memory Size: 256 MB Max Memory Used: 256 MB Init Duration: 243.01 ms

良い質問の評価を上げる

以下のような質問は評価を上げましょう

  • 質問内容が明確
  • 自分も答えを知りたい
  • 質問者以外のユーザにも役立つ

評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

気になる質問をクリップする

クリップした質問は、後からいつでもマイページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

  • プログラミングに関係のない質問
  • やってほしいことだけを記載した丸投げの質問
  • 問題・課題が含まれていない質問
  • 意図的に内容が抹消された質問
  • 過去に投稿した質問と同じ内容の質問
  • 広告と受け取られるような投稿

評価を下げると、トップページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

まだ回答がついていません

会員登録して回答してみよう

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
87.20%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問

同じタグがついた質問を見る

AWS Lambda

AWS Lambdaは、クラウド上でアプリを実行できるコンピューティングサービス。サーバーのプロビジョニングや管理を要せず複数のイベントに対してコードを実行します。カスタムロジック用いた他AWSサービスの拡張やAWSの規模やパフォーマンスを用いたバックエンドサービスを作成できます。

Python 3.x

Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

selenium

Selenium(セレニウム)は、ブラウザをプログラムで作動させるフレームワークです。この原理を使うことにより、ブラウザのユーザーテストなどを自動化にすることができます。