スクレイピングである人物の画像を収集したいです。
https://note.mu/kokoperikyo/n/n8023c7e9e262 を参考にしながら作っています。
def img_url_list(num): """ using yahoo (this script can't use at google) """ num_self = num url = 'https://search.yahoo.co.jp/image/search?p=藤田ニコル&oq=藤田&ei=UTF-8&b={}&ktot=5'.format(num_self) byte_content, _ = fetcher.fetch(url) structured_page = BeautifulSoup(byte_content.decode('UTF-8'), 'html.parser') img_link_elems = structured_page.find_all('a', attrs={'target': 'imagewin'}) img_urls = [e.get('href') for e in img_link_elems if e.get('href').startswith('http')] img_urls = list(set(img_urls)) num_self += 20 return img_urls,num_self
とコードを書いて実行すると、
byte_contentがNoneになってしまいます。なぜNoneになってしまうのでしょうか?
また、fetcher.fetch の役割がよくわかりません・・・・。
回答1件
あなたの回答
tips
プレビュー