beautiful soupでページネーションのある日経新聞の業績ニュースの記事一覧の
URLを取得したいと考えています。
業績ニュース一覧(1ページ目)
https://www.nikkei.com/markets/kigyo/index/?uah=DF_SEC8_C2_060
画面に表示されている記事一覧30件のURLを取得することはできるのですが、
ページ下部の2,3,4,5・・・とあるタブの先の一覧のURLを取得する方法が分かりません。
2ページ目
https://www.nikkei.com/markets/kigyo/index/?bn=31&uah=DF_SEC8_C2_060
3ページ目
https://www.nikkei.com/markets/kigyo/index/?bn=61&uah=DF_SEC8_C2_060
4ページ目
https://www.nikkei.com/markets/kigyo/index/?bn=241&uah=DF_SEC8_C2_060
該当のソースコード
import requests from bs4 import BeautifulSoup top_url = "https://www.nikkei.com" url = "https://www.nikkei.com/markets/kigyo/index/?uah=DF_SEC8_C2_060" soup = BeautifulSoup(requests.get(page_urls).content,'html.parser') for a in page_soup(class_="m-article_title"): print(top_url + a.a.get("href"))
試したこと
他の媒体では規則的な通し番号が入っていてfor文を用いて通し番号を変化させて
スクレイピングできましたが、今回の場合どうすればいいか分かりません。
chromeのデベロッパーツールでjavascriptで書かれている箇所を見て
何か記述するのかと考えましたがよく分かりませんでした。
方法をご教示いただければ幸いです。
補足情報
Python 3.6.8
bautifulsoup4
chromeのデベロッパーツールを用いてタグの確認
回答1件
あなたの回答
tips
プレビュー
バッドをするには、ログインかつ
こちらの条件を満たす必要があります。
2019/07/28 01:34
2019/07/28 01:38
2019/07/28 08:38