Webスクレイピングのクラス指定方法について質問です。

今、Laravelでこのページに沿ってWebスクレイピングを実行しようとしています。

具体的には、amazonのデジタル1眼の売れ筋ランキングのタイトルと画像をスクレイピングするというものです。

実際に、手順通りに進めると、上手くスクレイピングすることはできたのですが、上記ページ内「データの取得方法」でカメラのタイトルを取得するときに、クラス名として「.p13n-sc-truncate」を指定していました。

そこで、実際にamazonのデジタル1眼の売れ筋ランキングで検証(画像1)を使って、商品タイトルのクラスを調べてみると、クラス名は「p13n-sc-truncate-mobile-type p13n-sc-truncate-desktop-type2 p13n-sc-truncated」となっていました。ここでは、クラスが3つあり、そのうち「p13n-sc-truncated」を指定することで、スクレイピングをしたのかな？と思ったのですが、実際にスクレイピングしたときに指定したクラス名は上記の通り「.p13n-sc-truncate」でした。つまり最後の「d」が抜けているクラス名を指定したということになります。

画像1

そこで、クラス名が部分的に一致すればそのクラスを取得できるのかと思い「p13n-sc-truncat」(1文字減らした)でスクレイピングすると、商品タイトルを取得できませんでした。

次に、検証の画像1の右側にある検索画面に「p13n-sc-truncate」を入力すると、（画像1黄色の部分）には「p13n-sc-truncated」ではなく「.p13n-sc-truncate」と表記されていました。以下にその表記を記述します。

.p13n-sc-truncate, .p13n-sc-truncate-desktop-type1, .p13n-sc-truncate-desktop-type2, .p13n-sc-truncate-medium, .p13n-sc-truncate-small

結論としましては、スクレイピングの際に、正しくクラス名を指定する方法を教えていただきたいです。よろしくお願いします。

miyabi_pudding

2020/07/19 01:39

スクレイピングの練習のためにやっているのでしょうか？もしそうでなく、何かの実装で使いたいのであれば、スクレイピングより、APIは絶対にあるので、そちらの方が、様々確実だと思うのですが・・・

Yuu412

2020/07/19 03:20

最終的には、都道府県を入力すると、大学一覧(https://passnavi.evidus.com/search_univ/list/)のページから、その都道府県に属する大学名をスクレイピングしようと考えております。私のAPIへの理解が乏しくて申し訳ないのですが、Amazonなどの主要なサービスにはAPIがあると思うのですが、上記の目的のような場合でもAPIを使用することで実装可能でしょうか。たしかに、スクレイピングは危険(不正アクセス？のような面で)という話も聞くので、安全な方法でできれば幸いです。

yuki84web

2020/07/19 05:37

スクレイピングでもAPIでも使い方によってはサーバーに負荷をかけてしまいますのでリクエストを送る頻度は考えないといけません。"amazon ランキング API"で調べると色々と出てくるので、それらが参考になるのではないでしょうか。

行動規範の内容に同意します

回答2件

kei0310さんもおっしゃっている様に
まずはhtmlというものにおいて、classというものがどの様な役割を果たしているのか改めて認識していただくことが良いかと思います。

抽出したい対象の要素についてですが、複数のclassが設定されていると思います。
抽出したい対象がランキング1位のものだけであるといった場合は構いませんが、抽出したい対象が「ランキング内の全ての商品」といった場合には、各要素に設定されている共通のclassを指定する必要などがあります。

例えば全ての商品画像を抽出したいということであれば
掲題のページの場合以下の様な形で<img>タグが<div>に囲まれています。

html
1<div class="a-section a-spacing-small">
2  <img alt="FUJIFILM ミラーレス一眼カメラ X-A5レンズキット ブラウン X-A5LK-BW" src="https://images-fe.ssl-images-amazon.com/images/I/91JjiM3rWzL._AC_UL200_SR200,200_.jpg" height="200" width="200">
3</div>

そして<div>にはa-sectionとa-spacing-smallというclassが設定されていますが、調べた所ページ内ではa-sectionというclassは他の部分でも使用されているclassの様で、もしこのclassを指定したとしても他の部分の要素までも抽出されてしまいます。
もう一方のa-spacing-smallというclassはランキング内の商品画像を囲っているdivのみに使用されている共通classの様なので、これをターゲットに絞ることで画像のタグを絞り込んでいくことができます。

python
1import requests
2from bs4 import BeautifulSoup
3
4target = 'https://www.amazon.co.jp/gp/bestsellers/electronics/3946818051?ref_=Oct_BSellerC_3946818051_SAll&pf_rd_p=7019a35e-d4ad-5da4-8fdd-f9f5c8ef9428&pf_rd_s=merchandised-search-10&pf_rd_t=101&pf_rd_i=3946818051&pf_rd_m=AN1VRQENFRJN5&pf_rd_r=61C7KYXHQFEAY80RGM67&pf_rd_r=61C7KYXHQFEAY80RGM67&pf_rd_p=7019a35e-d4ad-5da4-8fdd-f9f5c8ef9428'
5res = requests.get(target)
6soup = BeautifulSoup(res.content, 'html.parser')
7
8# htmlからa-spacing-smallクラスが設定されたdiv要素をリスト化し抽出
9div_list = soup.find_all('div', class_='a-spacing-small')
10
11for div in div_list:		# imgを囲っているdiv要素を一つづつ取り出す
12	img = div.find('img')	# div要素の中のimg要素を抽出
13	print(img.get('src'))	# imgタグのsrcを抽出し出力
14