Pythonでのスクレイピングで要素取得ができない(空のリストが発生する)

Question

前提・実現したいこと

※Python初学者のため、的外れな記述などがあるかもしれません。ご了承ください。

Pythonを用いて、ある販売サイトから商品名や価格などの情報を表示したいと思っています。

該当のソースコード

import requests
from bs4 import BeautifulSoup

url = url //実際にはURLが入ります。
response = requests.get(url)
response.encoding = response.apparent_encoding

bs = BeautifulSoup(response.text, 'html.parser')

sub_pro_box = bs.select('div.sub-pro-box')

for li_tag in sub_pro_box[0].find_all('li'):
    sub_pro_name = li_tag.find_all('.sub-pro-name')
    print(sub_pro_name)

発生している問題・エラーメッセージ

sub_pro_name = li_tag.find_all('.sub-pro-name')
という一文でliタグのsub-pro-nameクラスの要素をsub_pro_name変数に抜き出しているつもりなのですが、print(sub_pro_name)で表示すると[]という空のリストが表示されてしまいます。

上記画像のようにsub-pro-nameというクラスがあるのは確認しているのですがsub_pro_nameが空のリストのままです。拙い質問内容で申し訳ありません。解決策をご存知でしたらご教授お願いします。

Answer 1

import requests
from bs4 import BeautifulSoup

url = url //実際にはURLが入ります。
response = requests.get(url)
response.encoding = response.apparent_encoding

bs = BeautifulSoup(response.text, 'html.parser')

mainpage_box_list = bs.select('div.sub-pro-box')
for pro_border in mainpage_box_list[0].select('div.pro-border'):

item_name_tags = pro_border.select('li.sub-pro-name')
item_name_tag = item_name_tags[0]
item_name = item_name_tag.text.strip()

item_price_tags = pro_border.select('li.sub-pro-jia')
item_price_tag = item_price_tags[0]
item_price = item_price_tag.text.strip()

print('商品名: {} 価格: {}'.format(item_name, item_price))

根本的な解決には至りませんでしたが、このようなコードに変更したところリストに望ましい値が記入されました。

Answer 2

liタグを取る時点で絞り込むようにしてみては？

for sub_pro_name in sub_pro_box[0].find_all('li',class='.sub-pro-name'):
    print(sub_pro_name)

それと、余計かもしれませんが、HTMLの画像を見た限り、私にはクラス名が'.sub-pro-name'ではなく'sub-pro-name'のように見えますがそこは大丈夫でしょうか？