pythonのseleniumでgoogle検索

Question

概要

Pythonクローリング＆スクレイピングという本を参考に現在学習しています。以下のコードを実行した際になぜか検索結果が表示されませんでした。

該当のソースコード

from selenium import webdriver
from selenium.webdriver.common.keys import Keys

#ブラウザを開く
driver = webdriver.Chrome('PATH')
#Googleのトップ画面を開く
driver.get('https://www.google.co.jp/')

#タイトルにGoogleが含まれていることを確認する
assert 'Google' in driver.title

#検索語を入力して送信する
input_element = driver.find_element_by_name('q')
input_element.send_keys('Python')
input_element.send_keys(Keys.RETURN)


#タイトルにPythonが含まれていることを確認する
assert 'Python' in driver.title

#スクリーンショットをとる
driver.save_screenshot('search_result.png')

#検索結果を表示する
for a in driver.find_elements_by_css_selector('h3 > a'):
    print(a.text)
    print(a.get_attribute('href'))
driver.quit()  # ブラウザーを終了する。

###実現したいこと
本来なら以下の検索結果が表示されるようになっているのですが上記のコードでは表示されませんでした。ただ、スクリーンショットはしっかりととれており、またエラーも出ませんでした。どのようにすれば検索結果が表示されるようになるかご教授頂けると幸いです。
###表示させたい検索結果

Python - ウィキペディア
https://ja.wikipedia.org/wiki/Python
専門知識いらず！Pythonとは？言語の特徴から網羅的に徹底解説 | 侍 ...
https://www.sejuku.net/blog/7720
Welcome to Python.org
https://www.python.org/
Pythonとは？特徴やできること、ダウンロード方法と文法を解説 | TECH ...
https://tech-camp.in/note/technology/33753/
Python基礎講座(1 Pythonとは) - Qiita
https://qiita.com/Usek/items/ff4d87745dfc5d9b85a4
Pythonとは？何に使えるの？Pythonの特徴や使い道を…｜Udemy メディア
https://udemy.benesse.co.jp/development/python.html
Top - python.jp
https://www.python.jp/
今さら聞けない！Pythonとは【初心者向け】 | TechAcademyマガジン
https://techacademy.jp/magazine/15507
Pythonは今のうちに習得すべき？『スラスラわかるPython』著者・岩崎さんと ...
https://codezine.jp/article/detail/10329
Pythonで最初に知っておきたかったことのまとめ【初心者向け】 - karaage ...
http://karaage.hatenadiary.jp/entry/2017/12/27/073000

Answer 1

HTML構成はよく変更されるので、書籍で提示されている構成とはすでに異なっている可能性が高いです。
ですので、現在もその構成となっているのかをご自身で確認する必要があります。
確認する方法がわからない、あるいは書籍で明確に記載がない場合は、もう少し別の
方法で勉強されることをお勧めいたします。

そして、取得できないのは、現在の構成が、少なくともコードで提示している 「H3 > a」ではないということです。

ちなみに、Googleの利用規約を読んでも違反なのかどうか私には読み取れませんでしたが、人間がアクセスする以上の頻度でアクセスするなどサーバに負荷をかけるような方法は業務妨害になるので気をつけましょう。
https://policies.google.com/terms

Comments

[_eito_]

やはり構成が変わっているのですね。
私が参考にした書籍にもサーバーに負荷をかけるような方法をとってはいけないと記述されていたので過度なアクセスは避けるようにします。丁寧な回答ありがとうございました。

Answer 2

google の検索結果を機械的に入手することは規約違反です。
クローリング学習の最初に「規約の理解」と「アクセスコントロール」を徹底させない教本はゴミなので、別の教本で学習することをオススメします。

Answer 3

te2jiさんのおっしゃる通りgoogleは規約違反なのですが、
同じ質問をされる方がいらっしゃり、一様にうまく行っていないことから、
おそらくgoogleがスクレイピング対策を講じていると私は考えています。

他のスクレイピング違反ではないサイトで実験してみてください。