beautiful soupでページネーションのある新聞記事のURL一覧を取得したい

beautiful soupでページネーションのある読売新聞の社説の記事一覧の
URLを取得したいと考えています
読売新聞の社説一覧
https://www.yomiuri.co.jp/editorial/
いま見えている範囲のニュース一覧は取得出来るのですが
下部にある「さらに読み込む」を押して現れる記事の取得の仕方が分かりません。

見えているURL一覧を取得する該当のソースコード

import requests
from bs4 import BeautifulSoup
#トップページ
top_url = "https://www.yomiuri.co.jp"
#社説
shasetsu_url = "https://www.yomiuri.co.jp/editorial/"
shasetu_soup = BeautifulSoup(requests.get(shasetsu_url).content,'html.parser')
for a in shasetu_soup.find_all(class_="uni-news-editorial-jp"):
    for b in a.find_all("a"):
        print(top_url + b.get("href"))

試したこと

他の媒体では規則的な通し番号が入っていてfor文を用いて通し番号を変化させて
スクレイピングできましたが、今回の場合どうすればいいか分かりません。
chromeのデベロッパーツールで下記のような箇所を確認しましたが
よく分かりませんでした。

<a href="javascript:void(0)" id="ajax_more_button">さらに読み込む</a>

「さらに読み込む」を押して現れる記事の取得方法をご教示いただければ幸いです。

補足情報

Python 3.6.8
bautifulsoup4
chromeのデベロッパーツールを用いてタグの確認

行動規範の内容に同意します

回答3件

以下URLでJSONファイルが取得できますので

https://www.yomiuri.co.jp/y_ajax/latest_list/category/45/1/0/20/1/?action=latest_list&others=category%2F45%2F1%2F0%2F20%2F1%2F

https://www.yomiuri.co.jp/y_ajax/latest_list/category/45/1/0/20/2/?action=latest_list&others=category%2F45%2F1%2F0%2F20%2F2%2F

python
1r = requests.get("https://www.yomiuri.co.jp/y_ajax/latest_list/category/45/1/0/20/1/?action=latest_list&others=category%2F45%2F1%2F0%2F20%2F1%2F")
2
3data = r.json()
4
5print(data["contents"])

data["contents"]をスクレイピングすればいいです。

投稿2019/08/01 00:14

barobaro

総合スコア1286

Joes

2019/08/01 21:44

ありがとうございます！！

Joes

2019/08/04 09:56

追加で質問させていただけないでしょうか。教えていただいたURLはchromeのnetworkのtabから取得できるのですが、このURLをpythonコードで取得する方法がもしあれば教えていただけないでしょうか。

barobaro

2019/08/05 01:43

他の方もかかれていますがseleniumでjavascript動かすしかないのでは？ ajaxが変わらない限り固定なのでわざわざ取得必要ないと思いますが。

行動規範の内容に同意します

ベストアンサー

これはjavascript案件ですね。
HTMLのボタンなどの制御は基本的にjavascriptで行われています。
今回ボタンのa要素にonclick属性はないので、十中八九どこかのscript中でid="ajax_more_button"に対する関数の紐付けがなされているわけですが、ちょっとそれを探すのは無理がありそうです。

素直にソース取得のみの実装は諦めてseleniumを使うべきだと思います。
seleniumはChromeなどのブラウザをPythonやnode.jsなどの多言語から操作するためのフレームワークです。ブラウザ中であればjavascriptが動くので、このボタンをクリックすればDOM内の記事のリストを増やすことができます。chromeもfirefoxもヘッドレスモード(ウィンドウを表示せずにseleniumなどに操作される)に対応しているので見かけ上はpythonのみで動かしているのと同じようにできます。

seleniumの使い方については詳しくはご自分で調べてみてください。

投稿2019/07/28 15:53