質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.50%
Python 3.x

Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

Q&A

解決済

1回答

2563閲覧

BeautifulSoup,Google検索結果取得について

ueshima900

総合スコア27

Python 3.x

Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

0グッド

0クリップ

投稿2019/05/28 03:55

編集2019/05/28 12:06

前提・実現したいこと

Google検索結果のタイトルやURLを抜き取りたい
言語:python3

発生している問題・エラーメッセージ

・エラーメッセージは特になく、値が返ってこず。空白のリストのみ表示される。
・下記参考サイトのソースの「# 検索結果のタイトルとリンクを取得」の部分で「r」や「s」タグが見つかりません。
参考にしているサイト:https://arakan-pgm-ai.hatenablog.com/entry/2018/01/17/080000

該当のソースコード

requests as web
import bs4
import csv

キーワードを使って検索する
list_keywd = ['機械学習','統計']
resp = web.get('https://www.google.co.jp/search?num=100&q=' + ' '.join(list_keywd))
resp.raise_for_status()

取得したHTMLをパースする
soup = bs4.BeautifulSoup(resp.text, "html.parser")
検索結果のタイトルとリンクを取得

link_elem01 = soup.select('.r > a')
検索結果の説明部分を取得
link_elem02 = soup.select('.s > .st')

試したこと

いくつかサイトをみたりしましたが全くわかりませんでした。

補足情報(FW/ツールのバージョンなど)

ここにより詳細な情報を記載してください。イメージ説明


大変初歩的な質問で申し訳ありませんが、よろしくお願いいたします。

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

ueshima900

2019/05/28 11:53

失礼いたしました、もしよろしければ「r」タグ等取得できない原因だけでも 教えていただくことはできますでしょうか・・・? よろしくお願いいたします。
tiitoi

2019/05/28 15:16

soup を print() すると、HTML のソースコードが表示されますが、その中に r や s という名前のクラスが見当たりません。 print(soup) してそこにない要素は取得できません。
guest

回答1

0

ベストアンサー

beautifulsoupが取得するソースとブラウザで見るソースの内容が違うようです。
下記でどうですか?

import requests from bs4 import BeautifulSoup as bs data = input("検索したい文字を入力してください:") res = requests.get("https://www.google.com/search?q=" + data) res = res.text soup = bs(res,"html.parser") #tags = soup.find_all("a") tags = soup.find_all("div", class_="ZINbbc xpd O9g5cc uUPGi") for i in tags: if(i.find("div", class_="BNeawe s3v9rd AP7Wnd") != None): print(i.find("a").get("href")) print(i.find("div", class_="BNeawe s3v9rd AP7Wnd").string) print("")

OS:windows8
Python:3.6.4(Anaconda)

投稿2019/07/28 09:18

meg_

総合スコア10577

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

ueshima900

2019/08/03 06:40

遅くなりもうしわけありません。 教えていただいた内容でできました! ありがとうございました。
guest

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.50%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問