質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.31%
AWS Lambda

AWS Lambdaは、クラウド上でアプリを実行できるコンピューティングサービス。サーバーのプロビジョニングや管理を要せず複数のイベントに対してコードを実行します。カスタムロジック用いた他AWSサービスの拡張やAWSの規模やパフォーマンスを用いたバックエンドサービスを作成できます。

Python 3.x

Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

Q&A

解決済

1回答

1086閲覧

AWS Lambda × SeleniumでAmazonの商品ページをスクレイピングできない

Khy

総合スコア118

AWS Lambda

AWS Lambdaは、クラウド上でアプリを実行できるコンピューティングサービス。サーバーのプロビジョニングや管理を要せず複数のイベントに対してコードを実行します。カスタムロジック用いた他AWSサービスの拡張やAWSの規模やパフォーマンスを用いたバックエンドサービスを作成できます。

Python 3.x

Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

0グッド

0クリップ

投稿2022/11/17 03:58

AWS LambdaでSeleniumを使用してAmazonの商品ページから価格を抽出したいのですが、2022-11-17T03:47:55.471Z 88481555-0a9a-4186-8145-39ae34547d86 Task timed out after 60.12 secondsとタイムアウトの表示が出てしまいます。

ローカルではAmazonの商品ページをスクレイピングできたのですが、なぜかLambda上ではできません。
また同じコードでAmazon以外のサイトはスクレイピングできることを確認しております。

なぜ取得できないか原因がわかる方がおられましたらご教授いただけると幸いです。

python

1import json 2from selenium import webdriver 3from selenium.webdriver.common.keys import Keys 4from selenium.webdriver.common.action_chains import ActionChains 5from selenium.webdriver.support.ui import WebDriverWait 6from selenium.webdriver.support import expected_conditions as EC 7from selenium.webdriver.common.by import By 8from selenium.webdriver.chrome.options import Options 9from datetime import datetime, timedelta 10from selenium.webdriver.chrome import service 11from selenium.webdriver.common.alert import Alert 12import time 13from datetime import datetime, date, timedelta 14import os 15 16# ########################### 17# 要素を取得する(単数) 18# ########################### 19def getElement(xpath, wait_second, retries_count): 20 error = '' 21 for _ in range(retries_count): 22 try: 23 # 失敗しそうな処理 24 selector = xpath 25 element = WebDriverWait(driver, wait_second).until( 26 EC.visibility_of_element_located((By.XPATH, selector)) 27 ) 28 except Exception as e: 29 # エラーメッセージを格納する 30 error = e 31 else: 32 # 失敗しなかった場合は、ループを抜ける 33 break 34 else: 35 exit() # プログラムを強制終了する 36 return element 37 38# ########################### 39# メイン処理 40# ########################### 41def lambda_handler(event, context): 42 43 url = event["url"] # URL例 → https://www.amazon.co.jp/gp/product/B086WYF2LQ 44 45 options = Options() 46 options.add_argument("--headless") 47 options.add_argument('--single-process') 48 options.add_argument('--disable-dev-shm-usage') 49 options.add_argument("--no-sandbox") 50 options.binary_location = '/opt/headless-chromium' 51 driver = webdriver.Chrome(executable_path="/opt/chromedriver", chrome_options=options) 52 53 driver.implicitly_wait(20) 54 55 driver.get(url) 56 title = driver.title 57 58 if title == "ページが見つかりません": 59 print("ページなし") 60 return { 61 'statusCode': 200, 62 'body': json.dumps("ページが見つかりません") 63 } 64 else: 65 print("ページあり") 66 67 price = getElement('//*[@id="corePriceDisplay_desktop_feature_div"]/div[1]/span[1]/span[2]/span[2]', 20, 3).text 68 print(price) 69 70 return { 71 'statusCode': 200, 72 'body': json.dumps(price) 73 }

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

y_waiwai

2022/11/17 04:08

できない、とはなにがどういうふうになってできないんでしょうか。 そこらへん詳しく説明しよう
melian

2022/11/17 04:16

AWS の CloudWatch に実行時のログが出力されているかと思いますので、そちらを確認してみてはどうでしょうか。
Khy

2022/12/05 04:13

確認遅くなり申し訳ございません! timeoutの時間を伸ばしたら問題解決しました。
guest

回答1

0

自己解決

timeoutの時間を伸ばしたら問題解決しました。

投稿2022/12/05 04:13

Khy

総合スコア118

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.31%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問