前提・実現したいこと
webスクレイピングで、ページ遷移した先のテキストを取得したいと思っていますが、可能でしょうか?
例えば、2chまとめサイトの記事一覧のページを基準に、各記事のリンクを踏む⇨記事に遷移⇨レスを取得⇨一覧に戻る⇨次の記事に遷移⇨...
という流れを作りたいです。
該当のソースコード
言語:Python3
OS: Mac 10.14.5
とりあえずはURLの抽出まではうまくいきました。
Python3
1import requests 2from bs4 import BeautifulSoup as BS 3 4url = 'https://swallow.5ch.net/livejupiter/kako/kako0000.html' 5r = requests.get(url) 6r.encoding = r.apparent_encoding 7soup = BS(r.text, 'lxml') 8aTag = soup.find_all('a') 9for link in aTag: 10 print(link.get('href')) 11
試したこと
とりあえずググってみましたがよくわかりませんでした...
ご回答よろしくお願いいたします
回答1件
あなたの回答
tips
プレビュー
バッドをするには、ログインかつ
こちらの条件を満たす必要があります。
2019/07/27 17:27