webサイト クロールｓ

Question

def get_page(url):
    try:
        import requests
        import bs4
        import lxml
        res = requests.get(url)
        soup=bs4.BeautifulSoup(res.content,"lxml")
        return soup
    except:
        return ""

def get_all_target(page):
    list=[]
    for elem in get_page(page).select("a"):
        list.append(elem.get("href"))
    return list

def union(p,q):
    for e in q:
        if e not in p:
            p.append(e)


def crawl_web(seed):
    tocrawl = [seed]
    crawled = []
    while tocrawl:
        page = tocrawl.pop()
        if page not in crawled:
            union(tocrawl, get_all_target(get_page(page)))
            crawled.append(page)
    return crawled

上記で　AttributeError: 'str' object has no attribute 'select'　がでます。　何故ですか？

また、ページ数を指定しないと無限化しますか？　（web上のメールアドレスなどの自動検索ツール作成中）

Comments

[cateye]

読んでくださいーー；
https://teratail.com/help/question-tips#questionTips1

Answer 1

select後の表記変更で解決しました。