pythonスクレイピングで今日の記事だけを取得したい

Question

前提・実現したいこと

pythonで
https://www.eigonews.net/blog/
このサイトをスクレイピングしようとしています。
今日の記事だけをスクレイピングしたいのですがどのようにすれば良いのかが分かりません。
for文で回すのかなと思い試してみると、同じ日付がずっと吐き出されます。

該当のソースコード

import requests
import re
from bs4 import BeautifulSoup
import datetime

today = datetime.datetime.today().strftime("%Y-%m-%d")
	URL = 'https://www.eigonews.net/blog/'
	headers = {"User-Agent": "hoge"}

	resp = requests.get(URL, timeout=1, headers=headers)
	r_text = resp.text

	soup = BeautifulSoup(r_text, 'html.parser')
	a = soup.select('.media-body a')
	span = soup.select('#main > div > article:nth-child(1) > div > div.media-body > div > span.published.entry-meta_items')

	for t in a:
		for s in span:
			if s.get_text() == '2019-06-03':
				print(s.get_text())
				msg ='{} ({})'.format(t.getText(), t.get('href'))
				print(msg)

因みに今日(6月4日)の記事が無かったので6月3日で試しています。

補足情報（FW/ツールのバージョンなど）

python3,windows10

Answer 1

以下のようにすれば、今日の日付の記事を取得できます。
サイトの構造はお使いのブラウザの開発者ツール (Chrome ならF12) で確認してください。
ブラウザの「Copy selector」でコピーされる CSS セレクタは冗長になるので、ご自身で HTML のコードを把握した上で抽出に必要なクラス名、ID名を確認したほうがよいでしょう。

import datetime as dt

import requests
from bs4 import BeautifulSoup

url = "https://www.eigonews.net/blog/"
headers = {"User-Agent": "hoge"}

res = requests.get(url, headers=headers)
soup = BeautifulSoup(res.content, "html.parser")

# today = dt.datetime.today().strftime("%Y-%m-%d")
today = "2019-06-03"  # 06/04 の記事はなかったので、テスト用に前日の日付を設定

for article in soup.find_all(class_="media-body"):
    published = article.find(class_="published").string  # 記事の日付
    if published != today:
        continue  # 今日の日付でない場合はスキップ

    # 記事のリンクとタイトルを取得
    header = article.find(class_="media-heading")

    link = header.a["href"]
    title = header.string
    print(link, title)

https://www.eigonews.net/trump-concludes-state-visit-to-japan/
トランプ氏が国賓としての訪日を終了【Trump concludes state visit to Japan】

---

不明な点があればコメントしてください。

Comments

[Quad]

これで出来ました。
ありがとうございます。