google検索結果をスクレイピングしたいが、うまくできません。
次のようなコードで実行しているのですが、結果が反映されません。(エラーにもならず、結果が出力されない状態です。)
検索結果の内容とURLを出力したいところです。
ソースのセレクト部分について特に自信がなく、原因の可能性が高いと思っていますが、原因がわかりません。
原因、対策、おわかりになれば教えていただければ幸いです。
python
1from bs4 import BeautifulSoup 2import requests 3import csv 4import re 5 6list_keywd = [‘プログラミング’,’python’] 7page = 5 8 9resp = requests.get('https://www.google.co.jp/search?num=' + str(page) + '&q=' + ' '.join(list_keywd)) 10resp.raise_for_status() 11 12soup = BeautifulSoup(resp.text, "html.parser") 13 14link_elem01 = soup.select('.r > a') 15 16with open('TitleURL.csv','w',newline='',encoding='utf8') as outcsv: 17 csvwriter = csv.writer(outcsv) 18 csvwriter.writerow(['No','タイトル','URL']) 19 for i in range(len(link_elem01)): 20 21 url_text = link_elem01[i].get('href').replace('/url?q=','') 22 url_text = re.sub('&.*', "", url_text) 23 24 title_text = link_elem01[i].get_text() 25 csvwriter.writerow([i+1,title_text,url_text]) 26 outcsv.close()
回答1件
あなたの回答
tips
プレビュー
バッドをするには、ログインかつ
こちらの条件を満たす必要があります。
2019/07/20 09:09