前提
店名を検索し、店の住所を取得するようにしたいのですが、パースしたhtmlの結果が実際にブラウザで開いたものと異なっています。
そのせいで、タブから内容を取得することができず困っています。
実現したいこと
googleで店名を検索し、店の住所を取得したいです。
該当のソースコード
# -*- coding: utf-8 -*- import time from csv import reader from xml.etree.ElementTree import PI import requests from bs4 import BeautifulSoup if __name__ == "__main__": item = "5 crossties coffee 渋谷スクランブルスクエア店" # 両端の空白を削除 item = item.strip() search_word = item URL = f'https://www.google.co.jp/search?hl=ja&q={search_word}' # requestsで返るページ内容がブラウザから見たものと異なるとき user_agent = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/104.0.5112.102 Safari/537.36' header = { 'User-Agent': user_agent } # URLからhtmlを取得する r = requests.get(URL, headers=header) time.sleep(3) # 例外処理 r.raise_for_status() print(r.url) # 取得したrequestsからhtmlをパーサーする soup = BeautifulSoup(r.text, "html.parser") for element in soup.select("span.LrzXr"): print(element.text)
試したこと
ここに問題に対して試したことを記載してください。
補足情報(FW/ツールのバージョンなど)
ここにより詳細な情報を記載してください。
回答1件
あなたの回答
tips
プレビュー
下記のような回答は推奨されていません。
このような回答には修正を依頼しましょう。
また依頼した内容が修正された場合は、修正依頼を取り消すようにしましょう。