「Bautifulsoup」class名を指定してるのに、何も返ってこない。

Question

コード
```### 前提・実現したいこと

下記サイト
[リンク内容](https://store-tsutaya.tsite.jp/storelocator/detail/recycle.html?storeId=0908#visual02)
から「タイトル」と「価格」を取り出してスプレットシートに書き出そうとしています。
下記のコードはHTMLの
<td class="byprice">26,000円</td>
の部分からクラス名を指定して　elems_price に入れようとしてます。ですがこのコードでは
print(elmes_price)で何も返って来ません。classの指定方法をfind,find_all,selectと何パターンか
試したのですがどれでやっても何も返されませんでした。
自分では何が間違ってるのかわからず、どなたかご教授頂けませんか。
### 該当のソースコード

```python
from selenium import webdriver
import time
import pandas as pd

from bs4 import BeautifulSoup
import urllib.request as req
import  requests

import gspread
from oauth2client.service_account import ServiceAccountCredentials

from gspread_dataframe import set_with_dataframe

browser = webdriver.Chrome()
browser.get('https://store-tsutaya.tsite.jp/storelocator/detail/recycle.html?storeId=0908')
time.sleep(3)

url = browser.current_url

html = req.urlopen(url)
soup = BeautifulSoup(html,'html.parser')
elems_price = soup.select('.byprice')
print(elems_price )

試したこと

ここに問題に対して試したことを記載してください。

補足情報（FW/ツールのバージョンなど）

ここにより詳細な情報を記載してください。

Comments

[退会済みユーザー]

ソースコードは code ブロックに貼ってください。
読みづらいだけで回答者の意欲をそぐ場合があります。
リンクは リンクの挿入 を使用してください。
回答者の手間が減ります。

[hana-tera]

ご指摘ありがとうございます。修正しました。

[退会済みユーザー]

こんな時間までご苦労様です。
先程の修正依頼に、Pythonタグの追加を書き忘れました。
是非、Pythonプロの目にとまるように工夫しましょう。

[退会済みユーザー]

遅ればせながらソースを実行しようとしたのですが NameError: name 'webdriver' is not defined で実行できません。
ソースは問題が疑われる個所だけでなく、フルで提示してください。

[hana-tera]

何度もご指摘ありがとうございます。タグとソース修正しました。

Answer 1

soupの中身を確認したところ、そもそもbypriceが含まれていないようです。

from selenium import webdriver
import chromedriver_binary
import time
import urllib.request
from bs4 import BeautifulSoup

browser = webdriver.Chrome()
browser.get('https://store-tsutaya.tsite.jp/storelocator/detail/recycle.html?storeId=0908')
time.sleep(3)

url = browser.current_url

html = urllib.request.urlopen(url)
soup = BeautifulSoup(html,'html.parser')

print(soup) #add for debug.

elems_price = soup.select('.byprice')
print(elems_price )

Comments

[hana-tera]

ご回答ありがとうございます。ご指摘の通り確かにbypriceが含まれてないようです…
それどころか自分で確認した限りでは抽出したいテーブルの要素全てが含まれてませんでした。

googleクローム上でデベロッパーツールでは確認出来きたのですが、それが何故ないかわかりません。
取得の仕方が間違ってるのか、それとも解析の部分が間違ってるのでしょうか？

Answer 2

print(html)して、HTMLを確認しましょう。

Comments

[hana-tera]

ご回答ありがとうございます。ご指摘の通りprint(html)を試してみまたのですが
返ってきた<http.client.HTTPResponse object at 0x000002131A8D8220>がどういう意味なのか自分にはわからず…。
「HTMLを確認しましょう。」との事でしたので、Print（soup）でHTMLを見てみました。
自分では<td class="byprice">26,000円</td>の部分が見つけられたかったのですがそれが原因なのでしょうか？googleクロームのデベロッパーツールで見るHTMLには確かにあるんですが。。。

[otn]

ああ、失礼。
変数名にだまされました。htmlという変数名なので、てっきり、HTMLが入っていると早合点しました。

print(req.urlopen(url).read())

で、HTMLが表示されます。

[otn]

おそらく、JavaScriptで動的に追加した要素なので、req.urlopen(url)で得られる追加前のHTMLだけを見ても駄目です。
JavaScriptを使うために、ブラウザ＋Selenium等を使いましょう。

[hana-tera]

長らく放置してしまい申し訳ございませんでした。JavaScriptを使用してるページはseleniumが必要なんですね。実は勉強しているうちに目的に対して別なアプローチを見つけたので質問自体はまだ解決には至ってないのですがいったん質問は締めさせていただきます。ご回答ありがとうございました。