スクレイピングで同じクラスが複数あるものを一つずつ指定するにはどのようにすればいいですか

Question

実現したいこと

スクレイピングで同じクラスが複数あるものを一つずつ指定するにはどのようにすればいいですか

前提

こちらのサイトhttps://github.com/orangain/scraping-hands-on/blob/master/exercises.md でpythonのスクレイピングの練習しております。1つ目の問題で同じクラスが複数あり一番最初の一つだけしか取得できません。どのようにすれば一つずつ取得できますか？

該当のソースコード

import requests
from bs4 import BeautifulSoup

url = "http://qiita.com/advent-calendar/2016/crawler"
html = requests.get(url)
soup = BeautifulSoup(html.content,'html.parser')

#木曜日1日
for link in soup.find(class_='style-1dctyxx'):
    print(link.get('href'))
for element in soup.find(class_='style-3ki7ar'):
    print(element.text)
#金曜日2日
for link in soup.find(class_='style-1dctyxx'):
    print(link.get('href'))
for element in soup.find(class_='style-3ki7ar'):
    print(element.text)

出力結果

http://amacbee.hatenablog.com/entry/2016/12/01/210436
scrapy-splashを使ってJavaScript利用ページを簡単スクレイピング
http://amacbee.hatenablog.com/entry/2016/12/01/210436
scrapy-splashを使ってJavaScript利用ページを簡単スクレイピング

pythonのバージョンは3.11.2です。

Comments

[1T2R3M4]

https://qiita.com/hiha1323/questions/c2c64ecea549a9653f4d
以下ご対応ください。
https://teratail.com/help#posted-otherservice

[hiha]

申し訳ございません。以後気をつけます。

Answer 1

findは該当する要素の内、最初の1件だけを返すメソッドです。
該当する要素を全てリスト(list)で返して欲しいのであれば、find_allです。

Comments

[hiha]

9行目のfindの後をfind_allにしたらurlがすべてNoneになり文章は同じ文書が4回出力されました。＃金曜日2日から下は消しました。
import requests
from bs4 import BeautifulSoup

url = "http://qiita.com/advent-calendar/2016/crawler"
html = requests.get(url)
soup = BeautifulSoup(html.content,'html.parser')
for link in soup.find_all(class_='style-1dctyxx'):
print(link.get('href'))
for element in soup.find_all(class_='style-3ki7ar'):
print(element.text)

[otn]

該当ページを見てみましたが、
クラスが'style-1dctyxx'な要素はdivです。divにはhrefが無いのでlink.get('href')はNoneですね。
クラスが'style-3ki7ar'な要素はaのようなので、そのhrefが欲しいのならelement.get('href')で取得できるでしょう。

クラス名のタイプミスかコピペミスをしているのか、そもそもHTMLとCSSをよくわかっていないのか、どちらかです。

[hiha]

ちゃんとurl取得できました！
htmlとcssの勉強を飛ばしてpythonをやっているので、そこから勉強したほうがよさそうです。
ありがとうございました！