Q&A
Amazon利用規約は確認の上スクレイピングされているのでしょうか？（私は利用規約により禁止されていると解釈しました）
前提・実現したいこと
<a href="/aa/bbb/cccc/ref=merch_name_1?XXXXX">店舗名</a> の店舗名を取得したい。
※xxxxxは動的なので毎回変化する。
発生している問題・エラーメッセージ
Noneとなる
該当のソースコード
merch_name = soup.find("a", href="/aa/bbb/cccc/ref=merch_name_1?*") print(merch_name)
試したこと
soup.find("a", href="/aa/bbb/cccc/ref=merch_name_1?*") 相対パスでaaaの後に任意の文字列を含むURLを指定した
補足情報（FW/ツールのバージョンなど）
ここにより詳細な情報を記載してください。
回答3件
0
ベストアンサー
BeautifulSoupでも正規表現が使えるようです。
参考：<Python, BeautifulSoup> 正規表現でマッチ
Python
1from bs4 import BeautifulSoup 2import re 3 4s = """<html><body> 5<a href="/aa/bbb/cccc/ref=merch_name_1?11111">shop1</a> 6<a href="/aa/bbb/cccc/ref=merch_name_1?22222">shop2</a> 7<a href="/aa/">/hoge/fuga</a> 8</body></html>""" 9 10r = re.compile(r'/aa/bbb/cccc/ref=merch_name_1?*') 11soup = BeautifulSoup(s, 'html.parser') 12 13for e in soup.findAll('a', href=r): 14 print(e.text)
投稿2020/07/15 13:47
総合スコア38256
s = """の\部分を特定URLのdriver.get('URL')を使う場合はどうしたらよいでしょうか。
「driver.get('URL')」とは何のことでしょうか？質問にもないようですが。
driver.get('URL')
r = re.compile(r'/aa/bbb/cccc/ref=merch_name_1/?*')
page_source = driver.page_source
soup = BeautifulSoup(page_source, 'html.parser')
for e in soup.findAll('a', href=r):
print(e.text)
でうまくいきました！ありがとうございます。
0
案1：BeautifulSoupをやめて、XPathが使えるツールを使う
"//a[starts-with(@href,'/aa/bbb/cccc/ref=merch_name_1?']"
案2：find_allでaタグを全部取得して、1つずつhref属性をチェックする。
案3：該当aノードかどうかを判断する関数を書いて、findの引き数にその関数を渡す。
投稿2020/07/15 13:43
総合スコア84499
0
それくらいならBeautifulSoupを使わなくてもいいと思います。
python
1print(driver.find_element_by_xpath('//a[contains(@href, "/aa/bbb/cccc/ref=merch_name_1")]').text)
投稿2020/07/15 12:49
総合スコア1290
あなたの回答
tips
プレビュー
