Pythonで開いたページのURLを次のコードで指定したい

Question

Python初めて数日の初心者で、プログラミングも勉強始めたばかりです。
最終的にWebスクレイピングができるようになりたいと思っています。

色々教えてもらいながら途中までできたのですが、つまづいているので詳しい方教えて下さいm(__)m

※Windows10のコマンドプロンプトから実行しています。

★やりたいこと★

食べログで「新橋」「個室」で検索したURLを開き、そのURLからの情報を元に、店舗名、URL、点数を取得したものをCSVファイルに出力したいです。

■問題■
①食べログを開いて「新橋」「個室」で検索するコード
②店舗名、URL、点数を取得したものをCSVファイルに出力するコードを

別々には完成したのですが、合わせるとうまくいきません。
①で食べログで検索したページのURLを②のコードで指定したいです。

★使用しているコード★
import requestsから②番目のコードになります。
個別で実行する際、url=部分を指定のurlを書いているとちゃんと取得、出力できるのですが・・・涙

import time

from selenium import webdriver

driver = webdriver.Chrome()
driver.get("https://www.tabelog.com")

elem_search_word = driver.find_element_by_name("sa")
elem_search_word.send_keys("新橋")

elem_search_word2 = driver.find_element_by_name("sk")
elem_search_word2.send_keys("居酒屋")

elem_search_word2.submit()

time.sleep(5)

elem_rank = driver.find_element_by_class_name("navi-rstlst__label--rank")
elem_rank.click()

import requests
from bs4 import BeautifulSoup

#食べログのURL
url = driver.current_url

#タグ取得
response = requests.get(url)
soup = BeautifulSoup(response.content, 'html.parser')
restrants = soup.find_all("div", class_="list-rst__wrap js-open-new-window")

#テーブル作成
table = []

for restrant in restrants:
    shopname = restrant.find("a", class_="list-rst__rst-name-target cpy-rst-name")
    star = restrant.find("span", class_="list-rst__rating-val")
    table.append([shopname.get_text(), shopname["href"], star.text])

import pandas as pd

Column = ['店舗名', 'URL', '点数']

# データフレームを作成
df = pd.DataFrame(table,columns=Column)

# CSV ファイル出力
df.to_csv(r"C:\python/tabelog.csv",encoding='utf_8_sig')

Answer 1

seleniumからそのままHTMLを渡すと、URLをseleniumで取得して、
再度requests.get(url)でアクセスする処理を省略できます。

soup = BeautifulSoup(driver.page_source, 'html.parser')

エラーメッセージを見るとget_textがうまくいっていないようです。
NoneTypeということはテキストが入ったデータを取得できていないと思われます。

File "ファイルパス.py", line N行目, in <module>
    table.append([shopname.get_text(), shopname["href"], star.text])
AttributeError: 'NoneType' object has no attribute 'get_text'

新しい操作を加えたり、エラーが出たりする場合には下を必ず確認します。

1. HTML
2. 変数の中身をprint
3. エラーメッセージを読む
4. Pythonやライブラリのドキュメント

Comments

[pythonbegginer]

いつも丁寧な回答ありがとうございます＾＾
本当に助かっています。やってみます！