python スクレイピングをNEWSPICKSで行う

Question

pythonのスクレイピングを用いて、Newspicksから記事のURLを引っ張りたいです。
今回のスクレイピング対象はこちらですhttps://m.newspicks.com/news/4549801?ref=picked-news_9598

##コード

import requests
from bs4 import BeautifulSoup

import slackweb
import schedule
import time


r = requests.get("https://newspicks.com/theme-news/9598/")
soup = BeautifulSoup(r.content, "html.parser")
urls = soup.find_all("a", class_="news-header")


for i in urls:
    print(i.get("href"))
    slack.notify(text=i.get("href"))

##課題
実行すると、スクレイピングもせず、エラーメッセージも帰ってきません。
前回スクレイピングを別のHPで実行できたので、おそらくHTMLの指定が間違っているのではないでしょうか。
確認いただけると幸いです。

Comments

[meshi_s]

urls = soup.find_all("a", class_="news-header")
で値が取れていないようですが、確認されましたか？
そもそもクラス「news-header」が無いようですが。

> 前回スクレイピングを別のHPで実行できたので、おそらくHTMLの指定が間違っているのではないでしょうか。
別のHPというのは、newspicks.comではないということでしょうか？

[loveapple2002]

回答ありがとうございます！
別のHPというのはnewspicksではないHPです。
<a class="news-header" href="/news/4571366/"> </a>
このHTMLを見つたので、これをスクレイピングしようとしました。

Answer 1

ブラウザでサイトを開いて、HTMLソースを（あるいは r.content の内容を）みてみてください。
このサイトはJavaScriptでレンダリングされているため、元のHTMLソースには欲しい情報はなさそうです。

JavaScriptでレンダリングされているコンテンツをスクレイピングするには、requestsではできないため、別のツール等を検討してみてください。

requests-html, scrapy-splash, selenium などが使えると思います。

Comments

[loveapple2002]

ご回答ありがとうございます。重ねて質問なのですが、レンダリングがHTMLなのか、JSなのかはどのように把握することができますか？

[shimizukawa]

ブラウザでサイトを開いて、HTMLソースを（あるいは r.content の内容を）みてみてください。

Answer 2

「class="news-header"」ありますか？

とりあえずは以下で取得できるような気もしますが。

soup.a.get('href')

Comments

[loveapple2002]

ありがとうございます。
こちらで行うと1記事だけスクレイピングできました。
引っ張る記事の個数を設定すればうまくできるかもしれません！

Answer 3

class_="news-header"の部分を抜いてみたらいかがでしょうか

Comments

[loveapple2002]

回答ありがとうございます！ご指摘の部分を抜くと、ニュースのURLをスクレイピングできたのですが、その他ニュース以外の「ログアウト」などのURLもスクレイピングしてしまいました。
HTMLを検証してみると、ニュースURLにclass_="news-header"があったので、こちらも記入したのですが、、