Python3 BeautifulSoupにてAmazonのcssタグがうまく取得できない

Question

前提・実現したいこと

Pythonにてamazonマーケットプレイスの古書の価格監視を行いたいです
amazonマーケットプレイスの商品一覧URLを入力し、
入力されたURLにアクセスし、価格を取得しデータベースに格納し、
価格が下がっていたらメールにて通知するシステムを作っています

そのためにBeautihulSoupにてタグの内容を取得し、整形したあと、
データベースに渡すコードを書いているのですが、
同じコードのプログラムを実行しても価格が取得できる時とエラーが出る時があります
（エラーが出る時の方が多いです）

発生している問題・エラーメッセージ

IndexError: list index out of range

該当のソースコード

from bs4 import BeautifulSoup #html整形
import requests #URL取得
import re #正規表現

def check_price(ama_url):
	ama = requests.get(ama_url)
　　　　　#URLにアクセス
	ama_html = BeautifulSoup(ama.text,features="lxml")
	select_price = ama_html.select("span.a-color-price")
	if not select_price:
		select_price = ama_html.select("a-color-base")
		#価格のタグを取得…実行タイミングによって取得可否が異なるのはなぜ？
	
	pattern = r'\d*,?\d*,?\d*\d'
		#正規表現\d = 数字
		#* = 直前の文字の0回以上の繰り返しとマッチ 
		#? = 直前の文字の0か1回の繰り返しとマッチ
		#パターンの最初にrをつけることでバックスラッシュをバックスラッシュとして使えるようになる
	regex = re.compile(pattern)
		#検索のパターンを指定
		
	matches = re.findall(regex, select_price[0].text)
		#指定したパターンで検索
	price = matches[0].replace(',','')
		#int型で扱うために、,などをreplaceメソッドで取り除いている,

	return price

### 試したこと

本のタイトルや著者名も同様に取得したいため、
"title"
や
".a-section.a-spacing-mini"
など、他のタグでも同様に試行しているのですが、
やはり取得できる時とできない時があります

ただし、"title"で取得を試みた場合には、
実行時、取得できなければ
""と空白のリストが返ってくるのですが、
.a-section.a-spacing-mini"
の場合は、
IndexError: list index out of range
と、価格のサイト同様のエラーが出ます


### 補足情報（FW/ツールのバージョンなど）

環境ですが、
Python3.7.1 Mac Os Shierra(10.12.6)です

Comments

[wintermaples]

ソースコードをコピーして実行して、10個くらい別々のURLで試行してみましたがエラーはでませんでした。
エラーが出るURLの例をご提示いただけませんか？(check_price関数は呼んでます)

[otaku46]

ご対応ありがとうございます
下記urlについて実行していました
https://www.amazon.co.jp/gp/offer-listing/4423895129/ref=tmm_hrd_used_olp_sr?ie=UTF8&condition=used&qid=&sr=

https://www.amazon.co.jp/愛について―アイデンティティと欲望の政治学-竹村-和子/dp/400022011X/ref=sr_1_1?__mk_ja_JP=カタカナ&keywords=愛について+竹村&qid=1566048877&s=books&sr=1-1

[wintermaples]

ありがとうございます。
実行してみたのですが、特にエラーは表示されず。。。
ただ、2つめの商品ページそのものの価格を表示する時に正しくない価格が表示されていました。
原因を探してみましたが、「この商品をチェックした人はこんな商品もチェックしています」のところの商品の一番左の値段を表示してしまうこともあるようです。
まずそちらを修正されたほうがよいかと思われます。

[otaku46]

ご回答ありがとうございます。
な、なんと。。２冊目のページで、私が今しがた実行した時は、"8184"と正しい価格が表示されていました。。
タグの取得部分をもっと吟味(タグの検討、選択肢の増設など)しようと思います。

[meg_]

そのurlはスクレイピング禁止だと思いますが。

[otaku46]

そうだったのですか。失礼しました。
であれば、使いませんので、python習作として作成を続けたいです。
何かエラーの原因として思い当たることがございましたら、ご教示願います。

Answer 1

価格の監視をしたいのならamazonのapiを使うことをお勧めします

https://haniwaman.com/amazon-api-7/

このサイトを見てurlを作ってかえってきたxmlをパースするのが一番いいと思います

Comments

[otaku46]

おお！ありがとうございます。
試してみます