前提・実現したいこと
Google検索結果のタイトルやURLを抜き取りたい
言語:python3
発生している問題・エラーメッセージ
・エラーメッセージは特になく、値が返ってこず。空白のリストのみ表示される。
・下記参考サイトのソースの「# 検索結果のタイトルとリンクを取得」の部分で「r」や「s」タグが見つかりません。
参考にしているサイト:https://arakan-pgm-ai.hatenablog.com/entry/2018/01/17/080000
該当のソースコード
requests as web
import bs4
import csv
キーワードを使って検索する
list_keywd = ['機械学習','統計']
resp = web.get('https://www.google.co.jp/search?num=100&q=' + ' '.join(list_keywd))
resp.raise_for_status()
取得したHTMLをパースする
soup = bs4.BeautifulSoup(resp.text, "html.parser")
検索結果のタイトルとリンクを取得
link_elem01 = soup.select('.r > a')
検索結果の説明部分を取得
link_elem02 = soup.select('.s > .st')
試したこと
いくつかサイトをみたりしましたが全くわかりませんでした。
補足情報(FW/ツールのバージョンなど)
大変初歩的な質問で申し訳ありませんが、よろしくお願いいたします。
回答1件
あなたの回答
tips
プレビュー