google検索結果をスクレイピングするにあたり
検索ワードの組み合わせを以下のコードにある組合せ以外に数10通り使い結果を収集したいです
複数の検索ワードを読み込ませる部分のコードの組み方についてご教示頂きたくうかがいます
現在作ったコードは以下です
python3
import requests as web import bs4 import csv list_keywd = ['金属屋根','修理','神奈川'] resp = web.get('https://www.google.co.jp/search?num=100&q=' + ' '.join(list_keywd)) resp.raise_for_status() soup = bs4.BeautifulSoup(resp.text, "html.parser") link_elem01 = soup.select('.r > a') link_elem02 = soup.select('.s > .st') if(len(link_elem02) <= len(link_elem01)): leng = len(link_elem02) else: leng = len(link_elem01) with open('vvv.csv','w',newline='',encoding='utf8') as outcsv: csvwriter = csv.writer(outcsv) csvwriter.writerow(['タイトル・説明','URL']) for i in range(leng): url_text = link_elem01[i].get('href').replace('/url?q=','') from urllib.parse import urlparse parsed_url = urlparse(url_text) base_url = '{0.scheme}://{0.netloc}/'.format(parsed_url) title_text = link_elem01[i].get_text() t01 = link_elem02[i].get_text() t02 = t01.replace('\n','') disc_text = t02.replace('\r','') csvwriter.writerow([title_text + disc_text, base_url]) outcsv.close()
まだ回答がついていません
会員登録して回答してみよう