Pythonでfor文を使った複数ページのスクレイピングをしたいが1ページ文しか上手くいかない

前提・実現したいこと

blogから記事リンクを取得して、リスト化そのリンク先の記事の情報をスクレイピングしたいと思います。

複数ページのスクレイピングはfor文を使うと出ておりためしましたが上手くいきません

発生している問題・エラーメッセージ

cのページのリンクしか取得出来ません

Python

pageurls=
['https:⋯a',
 'hhttps:⋯b',
 'https:⋯c',
 'https:⋯d',]

for url in pageurls :
  res = requests.get(url)
  res.raise_for_status()
  soup = BeautifulSoup(res.text, "html.parser")
  
  link=soup.find("div", attrs={"class": "content-block clear"})
  tag_list = link.select('a[href]')

  urls=[]
  for tag in tag_list:
    url = tag.get('href')
    urls.append(url)  


unique_set = set(urls)
unique_list = list(unique_set)
unique_list

補足情報（FW/ツールのバージョンなど）

colab.research.google.com

行動規範の内容に同意します

回答1件

ベストアンサー

意図していることを実現するには、内側（二つめ）のfor文の直前でリセットしている urlsリストを、外側（一つめ）のfor文の直前でリセットすれば良いのではないでしょうか。
そうすることで、a～dまでのURLで取得した先のhref（リンク先URL）が、urlsリストに追記されていくはずです。

python
1urls=[]
2for url in pageurls :
3  res = requests.get(url)
4  res.raise_for_status()
5  soup = BeautifulSoup(res.text, "html.parser")
6
7  link=soup.find("div", attrs={"class": "content-block clear"})
8  tag_list = link.select('a[href]')
9
10  for tag in tag_list:
11    url = tag.get('href')
12    urls.append(url)