100のurlを格納したリストを活用しwebスクレイピングしたいのですが、
繰り返し処理が上手くいっておらず、同じ要素が繰り返し取得してしまいました。
下から4行目のコードを記載したところ'type' object is not iterableのエラーが出ます。
ご教授お願いいたします。
※記載のコードで全てです。
該当のソースコード
from bs4 import BeautifulSoup
import urllib.request as req
import urllib
import os
import time
from urllib.parse import urljoin
import requests
from bs4 import BeautifulSoup
#URLを指定
url ='https://www.jpubb.com/glist.php?industry=%E9%8A%80%E8%A1%8C'
#GETリクエストを送信
reqs = requests.get(url)
#URLをテキスト化し、解析を行う。その後BeautifulSoupオブジェクトを作る
soup = BeautifulSoup(reqs.text, 'html.parser')
#空のurlsのリストを用意
urls = []
#全てのaタグをループ処理し、hrefで指定されたURLを出力する
for link in soup.find_all(class_="bold"):
print("https:"+link.get('href'))
tmp = "https:"+link.get('href')
urls.append(tmp)
#****************ここまでが元のurlを取得する作業。urlsの要素数は100
#URLを指定
baseurl_list =urls
for urls in baseurl_list:
#GETリクエストを送信
reqs = requests.get(url)
#URLをテキスト化し、解析を行う。その後BeautifulSoupオブジェクトを作る
soup = BeautifulSoup(reqs.text, 'html.parser')
#空のpdfurlのリストを用意
pdfurl = []
#hrefで指定されたURLを出力する
for baseurl_list in list:
for list in soup.find_all(target="_blank"):
print(link.get('href'))
pdfurl.append(link.get('href'))
baseurl_listには100のurlが格納されています。一つづつwebスクレイピングするにはどのようにコードを記載すれば良いか教えてほしいです。