表題の件、ご教示いただきたく投稿します
import requests as web import bs4 import csv list_keywd = ['検索語①','検索語②','検索語③'] resp = web.get('https://www.google.co.jp/search?num=100&q=' + ' '.join(list_keywd)) resp.raise_for_status() soup = bs4.BeautifulSoup(resp.text, "html.parser") link_elem01 = soup.select('.r > a') link_elem02 = soup.select('.s > .st') if(len(link_elem02) <= len(link_elem01)): leng = len(link_elem02) else: leng = len(link_elem01) with open('vvv.csv','w',newline='',encoding='utf8') as outcsv: csvwriter = csv.writer(outcsv) csvwriter.writerow(['タイトル・説明','URL']) for i in range(leng): url_text = link_elem01[i].get('href').replace('/url?q=','') title_text = link_elem01[i].get_text() t01 = link_elem02[i].get_text() t02 = t01.replace('\n','') disc_text = t02.replace('\r','') csvwriter.writerow([title_text + disc_text,url_text]) outcsv.close()
webスクレイピングをするため
このコードで収集できるURLをドメインまでの情報になるよう組みたいです
よろしくお願いします
回答1件
あなたの回答
tips
プレビュー
バッドをするには、ログインかつ
こちらの条件を満たす必要があります。
2018/10/15 07:40