質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.50%
スクレイピング

スクレイピングとは、公開されているWebサイトからページ内の情報を抽出する技術です。

Python 3.x

Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

URL

URL(ユニフォームリソースロケータ)とは、インターネット上のリソース(Webページや電子メールの宛先等)を特定するための形式的な記号の並びの事を言う。

Webサイト

一つのドメイン上に存在するWebページの集合体をWebサイトと呼びます。

Q&A

解決済

1回答

3869閲覧

webスクレイピングで、ページ遷移した先のテキストを取得したい

ryokuchama

総合スコア12

スクレイピング

スクレイピングとは、公開されているWebサイトからページ内の情報を抽出する技術です。

Python 3.x

Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

URL

URL(ユニフォームリソースロケータ)とは、インターネット上のリソース(Webページや電子メールの宛先等)を特定するための形式的な記号の並びの事を言う。

Webサイト

一つのドメイン上に存在するWebページの集合体をWebサイトと呼びます。

0グッド

2クリップ

投稿2019/07/25 15:34

前提・実現したいこと

webスクレイピングで、ページ遷移した先のテキストを取得したいと思っていますが、可能でしょうか?
例えば、2chまとめサイトの記事一覧のページを基準に、各記事のリンクを踏む⇨記事に遷移⇨レスを取得⇨一覧に戻る⇨次の記事に遷移⇨...
という流れを作りたいです。

該当のソースコード

言語:Python3
OS: Mac 10.14.5

とりあえずはURLの抽出まではうまくいきました。

Python3

1import requests 2from bs4 import BeautifulSoup as BS 3 4url = 'https://swallow.5ch.net/livejupiter/kako/kako0000.html' 5r = requests.get(url) 6r.encoding = r.apparent_encoding 7soup = BS(r.text, 'lxml') 8aTag = soup.find_all('a') 9for link in aTag: 10 print(link.get('href')) 11

試したこと

とりあえずググってみましたがよくわかりませんでした...

ご回答よろしくお願いいたします

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

guest

回答1

0

ベストアンサー

for link in aTag: のループの中で、上記と同じ処理(requests.get(link)→soup.find_all('XXX'))
をすれば良いかと思います。
リンクの一覧は既に取得済なので、「一覧に戻る」処理は不要と思います。

投稿2019/07/27 09:40

meg_

総合スコア10577

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

ryokuchama

2019/07/27 17:27

おかげさまで解決しました... すごく簡単な話でしたね...ご回答ありがとうございました
guest

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.50%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問