Pythonを使った、ウェブサイト上の記事リンクと記事タイトルの取得、リスト化

Question

前提・実現したいこと

以下のサイトhttps://web-kanji.com/posts
にある「記事一覧」の全ての記事について、記事タイトルとURLリンクを取得してリスト化したいです。

こちらの記事https://teratail.com/questions/130155
をみて、やってみようとしましたが、うまくできませんでした。

教えていただけないでしょうか

利用環境は、Google Colaboratory です

Comments

[y_waiwai]

やってみたコードを提示しましょう

[causetokyo]

ご返信ありがとうございます、

ほぼ素人で大変お恥ずかしいです、、
やってみましたのは以下のものです；

from bs4 import BeautifulSoup
import urllib.request as req

url = "https://web-kanji.com/posts"
res = req.urlopen(url)
soup = BeautifulSoup(res, 'html.parser')
url_items = soup.find_all('a')
print("a = ", url_items)

for url in url_items:
res = req.urlopen(url.get("href"))
soup = BeautifulSoup(res, 'html.parser')

description = soup.select('posts-item-title')
print("posts-item-title = ", description)

[y_waiwai]

そのコードを質問に追記しましょう。
その際には、質問を編集し、<code>ボタンを押し、出てくる’’’の枠の中にコードを貼り付けてください

Answer 1

スクレイピングにはまず、Chrome の F12 キー押下で出てくる開発者ツールで取得したい箇所の HTML の DOM 構造がどうなっているかを確認しましょう。

Web開発でよく使う、特に使えるChromeデベロッパー・ツールの機能 - Build Insider

今回の場合は以下のようになります。

from bs4 import BeautifulSoup
import urllib.request as req

url = "https://web-kanji.com/posts"
res = req.urlopen(url)
soup = BeautifulSoup(res, "html.parser")

for article in soup.select("a.posts-item"):
    title = article.h3.get_text(strip=True)
    url = article["href"]
    print(title, url)

Comments

[causetokyo]

驚きの成果です、、
速やかかつご親切に教えてくださり本当にありがとうございます！大変助かりました。。。

また、このような質問の場を設けてくださっているteratail様にも、心から感謝申し上げます、ありがとうございます！