Q&A
pythonでwebページ上のaタグを取得する方法をご教示いただけないでしょうか？
現在ググりながら
lang
1from urllib import request 2from bs4 import BeautifulSoup 3from urllib.parse import urljoin 4 5base_url = "URL" 6html = request.urlopen(base_url) 7soup = BeautifulSoup(html,"html.parser") 8for i in soup.find_all("a"): 9 print(urljoin(base_url, i.get("href"))) 10
こちらを実行しております。
お聞きしたいことは
ディレクトリ配下すべてのaタグを抜き出したいのですが
base_url = "URL"
こちらで指定したURL上のaタグしか抜き出せず困っております。
例えば
https://www.rakuten-card.co.jp/
だけでなく
https://www.rakuten-card.co.jp/campaign/
のような下層のディレクトリのaタグも取得したい形です。
https://www.rakuten-card.co.jp/**
と入力してもエラーで帰ってきてしまい困っております。
お手数ですがご教示いただけないでしょうか
回答1件
0
ベストアンサー
単なるスクレイピングではカバーできないので、クローリング（サイトを回遊しながら情報を収集する）系の記事を探してみると良いと思います。
方針としては、
- サイトの内部リンクをたどり、サイトに存在するページのリストを作る
- 取得できたページに対して、各ページごとにaタグを取る
というような感じでやることになります。
けっこう手間がかかるのは確かで、今のコードに少し書き足せば動く、という話ではありません。
投稿2018/10/23 05:20
総合スコア30933
あなたの回答
tips
プレビュー
バッドをするには、ログインかつ
こちらの条件を満たす必要があります。
2018/10/23 05:42