質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.50%
Beautiful Soup

Beautiful Soupは、Pythonのライブラリの一つ。スクレイピングに特化しています。HTMLデータの構文の解析を行うために、HTMLタグ/CSSのセレクタで抽出する部分を指定することが可能です。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

Q&A

解決済

3回答

929閲覧

pythonで3000近くのページから最初の方のページのデータしか取得できないです

dd_

総合スコア111

Beautiful Soup

Beautiful Soupは、Pythonのライブラリの一つ。スクレイピングに特化しています。HTMLデータの構文の解析を行うために、HTMLタグ/CSSのセレクタで抽出する部分を指定することが可能です。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

0グッド

0クリップ

投稿2021/07/24 17:42

編集2021/07/24 18:44

実行環境は Google Colaboratory です。

ーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーー

3108個あるページからデータを取り出したいと思い
こちらのサイトを参照してコーディングしてみました。
https://kino-code.com/python_automation_web_scraping03/

python

1from bs4 import BeautifulSoup 2import requests 3import pandas as pd 4import time 5 6url = "#取り出したいページのURL" 7 8r = requests.get(url) 9time.sleep(3) 10 11soup = BeautifulSoup(r.text,'html.parser') 12page_na = soup.find(class_="mod-paging-num") 13#ページング機能はHTMLのクラス mod-paging-num というものでした。 14 15page_num = page_na.find_all(class_="mod-paging-num-item") 16#その中のクラス mod-paging-num-item にページ番号が割り振られているのを確認しました。

上のコードを実行すると下の画像の内容の実行結果がでました。
イメージ説明

ーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーー

スクレイピングしたいサイトの
最初にあるページングの部分が下の画像のようになっています。

イメージ説明

11~3107についてのコードは
最初のページの検証から見れるコードにはありませんでした。
この場合すべてのページのデータを取得することは難しいでしょうか?

もし可能でしたら
やり方または参考サイトがあれば
教えていただけますでしょうか?

よろしくお願いいたします。

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

guest

回答3

0

ベストアンサー

恐らくですが2枚目の画像における「...」の部分に
11~3107までのページが隠れているというわけではないでしょう。
こういった目次は多くのウェブサイトに設置されており
サイトによって異なりますが多くのウェブサイトでは

  • 現在開いているページ
  • 現在開いているページナンバーの9ページ後まで
  • 一番最後のページ

がリンクされています。
恐らく掲題のページでも上記の様にリンクが用意されているだけではないでしょうか。
恐らく現在開いているページが21ページならば
21 22 23 24 25 26 27 28 29 30 ... 3108
と表示されませんか?

またリンク先はURLの末尾でpage-n(nに数字)とで各ページが用意されている事がわかります。
そしてページの最大数が3108ページまでであるという事もわかっているので
ループ文などでその回数分だけURLの末尾の数字を加算させる事で各ページのスクレイピングを行う事が可能でしょう。

python

1base_url = 'https://hoge.com/fuga/page-' 2for pagenum in range(1, 3109): 3 new_url = base_url + pagenum 4 r = requests.get(new_url) 5 soup = BeautifulSoup(r.content, 'html.parser') 6 # 行いたい処理を以下に記述

またその他には、毎回次のページがあるかどうかを検証し
次のページがある場合には次のページのリンクを取得しスクレイピングを行う等といった方法もあるでしょう。

投稿2021/07/25 05:52

編集2021/07/26 02:02
nto

総合スコア1438

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

0

順番に、「>」のアイコンのリンクを辿っていけば良いだけだと思うのですが、
何に困っているのでしょうか?

また、requestsライブラリーでページを取得しているので、JavaScriptで動的に生成されているページだと不可能ですが、そのあたりは大丈夫でしょうか。

投稿2021/07/24 23:23

otn

総合スコア84421

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

0

そのサイトがスクレイピングを許可しているか不明なので、概要だけで...


そのサイトがページングをどのように実現しているかによると思います。
サーバーサイドで、ページングのリンクを生成しているのであれば、実際に順番にページ送りの操作をして、対象のページに行かないと続きのページングは、取得できないとおもいます。

ま、URL から推測できる可能性はありそうですが...

投稿2021/07/24 22:29

CHERRY

総合スコア25171

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.50%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問