質問編集履歴

2

不具合の内容をより詳しく記載しました。

2018/01/02 06:54

投稿

yuka-co
yuka-co

スコア14

test CHANGED
File without changes
test CHANGED
@@ -1,6 +1,16 @@
1
1
  python3の初心者です。
2
2
 
3
+ 検索結果一覧を取得するプログラムを組む中で、
4
+
5
+ - beautifulsoup4で「次へ」ページの相対urlを取得
6
+
7
+ - 取得した相対urlを絶対urlに変換
8
+
9
+ - 変換した絶対urlにアクセスしてスクレイビング
10
+
3
- beautifulsoup4で取得した「次へ」ページの相対url絶対urlに変換、リンク先のページにアクセスしてスクレイビングをしたいと考えています。検索結果が複数ページに跨っている場合全て取得したいので、whileでループさせたいです。
11
+ をしたいと考えています。検索結果が複数ページに跨っている場合全て取得したいので、whileでループさせたいです。検索結果の「次へ」ページは相対urlでしか記述されていないため、単純にリンクを抽出してアクセスさせようとするとrequests.exceptions.MissingSchema: Invalid URLというエラーが出ました(下記に記載したエラーと同様の内容ではないかと思います)。
12
+
13
+
4
14
 
5
15
  以下が書いたコードの抜粋になります。while以降が問題の箇所です。
6
16
 

1

タイトルを変更しました。

2018/01/02 06:54

投稿

yuka-co
yuka-co

スコア14

test CHANGED
@@ -1 +1 @@
1
- 「次へ」ページのリンク(相対url)を取得する方法
1
+ 【python3】「次へ」ページのリンク(相対url)を絶対urlに変換したい
test CHANGED
File without changes