指定URLのhtmlからhrefタグの中身を取り出したい（スクレイピング）

Question

前提・実現したいこと

以下の朝日新聞のURLから「次の記事」と「前の記事」のURLを取り出したいです。
https://www.asahi.com/articles/DA3S14526484.html?iref=pc_rensai_article_long_16_prev

発生している問題・エラーメッセージ

BeautifulSoup4を使って取り出そうとするのですが、select,find_allでも取り出すことができないです。
何か間違えますか？

該当のソースコード

import requests
from bs4 import BeautifulSoup

res = requests.get(url)
soup = BeautifulSoup(res.text, "html.parser")

prev = soup.select("#PrevLink > div > a").get("href")
next = souop.select("#PrevLink > div > a").get("href")

試したこと

lxmlのxpathや、find_allも試みましたがうまく取得することができませんでした。

Answer 1

Seleniumを使うとこんなコードで取れました
参考:https://qiita.com/Azunyan1111/items/b161b998790b1db2ff7a

from bs4 import BeautifulSoup
import requests as re
from selenium import webdriver
from selenium.webdriver.chrome.options import Options

options = Options()
options.set_headless(True)
driver = webdriver.Chrome(chrome_options=options)
driver.get("https://www.asahi.com/articles/DA3S14526484.html?iref=pc_rensai_article_long_16_prev")

html = driver.page_source.encode('utf-8')
soup = BeautifulSoup(html, "html.parser")
print(soup.find(id='NextLink').find('a')['href'])
print(soup.find(id='PrevLink').find('a')['href'])

Comments

[onegai]

Seleniumと呼ばれるものを初めて知りました！ありがとうございます！

Answer 2

Selemium を使わない方法を紹介します。
今回の場合は BeautifulSoup4 も使いません。

目的の情報にたどり着くための調査方法

1
開発者ツールの Network タブを開きます

2
画面左上の検索ボックスで、目的の情報が表示されている DOM 要素に関係するキーワードで検索します
今回の場合は DOM の id "NextLink" で検索をかけています

3
検索の結果、ブラウザがリクエストしたコンテンツの中身が検索ボックスのすぐ下に表示されるので、
クリックします

4
すると、タイムラインの特定のリクエストの行が濃いグレーで表示されるので、
クリックします

5
[Preview] タブをクリックします

6
Ctrl + F で検索ボックスが表示されるので、再度 DOM 要素に関係するキーワードで検索し、
コードをねばり強く見ていきます

すると、いつかは目的の情報を取得している箇所が見つかります

コード

import re
import requests

# 現在のページの URL
url_current_page = "https://www.asahi.com/articles/DA3S14526484.html?iref=pc_rensai_article_long_16_prev"

# 連載の情報の URL
#
# 正確に URL を生成する場合は次のコードを参考に Python で書き直します (ここでは省略します)
# https://www.asahicom.jp/js/asahi-article.js 73行目
# this.rensaiJson = "/rensai/json/" + rensaiId +".json?" + Math.floor((new Date()).getTime() / (1000 * 60 * 60 * 4));//4h
url_page_list = "https://www.asahi.com/rensai/json/da16.json?110650"

# 記事 ID の取得処理
#
# 次のコードを参考に Python で書き直します:
# https://www.asahicom.jp/js/asahi-article.js 371 行目
# // 記事ID取得関数
# getKijiid:function(path,suffix){
#   let b = path.replace(/^.*[/\]/g, '');
#   if (typeof(suffix) == 'string' && b.substr(b.length - suffix.length) == suffix) {
#     b = b.substr(0, b.length - suffix.length);
#   }
# return b;
# },
path_current_page = re.sub(r'.*[///]', '', url_current_page)
index_last = path_current_page.rfind(".html")
page_id_current = path_current_page[:index_last]
print(page_id_current)

# JSON をリクエストし、辞書型として取得
res_page_list = requests.get(url_page_list)
json = res_page_list.json()

# 直前のページ、直後のページ取得処理
# 
# 次のコードを参考に Python で書き直します:
# https://www.asahicom.jp/js/asahi-article.js 95 行目
# $.each(articleItems,function(i,data){
#   if(articleItems[i].id == articleId){
#     nowPage = articleItems[i];
#   }else{
#     if(nowPage){
#       prevPage = articleItems[i];
#       return false;
#     }else{
#       nextPage = articleItems[i];
#     }
#   }
# });
now_page = None
for item in json["items"]:
    # print(item)
    if item["id"] == page_id_current:
        now_page = item
    else:
        if now_page is not None:
            prev_page = item
            break
        if now_page is None:
            next_page = item

print(prev_page)
print(now_page)
print(next_page)

実行結果:

$ pipenv run python test.py
DA3S14526484
{'count': 1497, 'description': 'ちぐはぐな対応に不信を抱いた人も多いのではないか。政府の新型コロナウイルス対策に医学的見地から助言してきた専門家会議を廃止し、新たな会議体を設けると、おととい西村康稔担当相が表明した。改 
組することに異', 'id': 'DA3S14526483', 'image': None, 'limited': None, 'release_date': '20200626050000', 'title': '（社説）専門家会議\u3000最後の提言\u3000政府は胸に'}
{'count': 1498, 'description': '中国とインドとの長年に及ぶ国境問題が再燃している。ともに約１４億人の人口を抱え、核兵器を保有する大国である。ぶつかり合えば、世界全体を揺るがしかねない。両国は最大限の自制に努めるべきだ。 
中国西部チベッ', 'id': 'DA3S14526484', 'image': None, 'limited': None, 'release_date': '20200626050000', 'title': '（社説）中国とインド\u3000成長大国の責任自覚を'}
{'count': 1499, 'description': '不透明さを批判されている政府事業の民間への委託について、問題の事業を所管する経済産業省が、有識者による改善策の検討を始めた。経産省が委託のやり方を見直すのは当然である。しかし委託契約は他 
の省庁でも行わ', 'id': 'DA3S14527841', 'image': None, 'limited': None, 'release_date': '20200627050000', 'title': '（社説）民間への委託\u3000統一ルールが必要だ'}

Comments

[onegai]

コード付きの解答ありがとうございます！

Answer 3

当該のリンクは元のソースには記載されておらず、ページ読み込み後javascirptで追加されています。
(res.textの内容を検索すれば#PrevLinkも存在しないことがわかります)
bs4で手軽に取得はできません。
Seleniumを使う方法なら取得できるかもしれませんね。

Comments

[onegai]

javascriptで後から追加されていたのですね。。。教えていただきありがとうございます！