python スクレイピング

Question

前提・実現したいこと

Pythonスクレイピングを学習しており、webサイトに記載されているコードの通り進んで行きましたが思った表示が出ず、エラーで躓いています
やりたいことは、chrome検索で次へをクリックし２ページ目以降の情報も取得したいです

発生している問題・エラーメッセージ

Traceback (most recent call last):
  File "/Users/hiromu/PycharmProjects/pythonProject/main.py", line 23, in <module>
    next_link = driver.find_element_by_id('pnnext')#ここがエラーな理由がわかりません
  File "/Users/hiromu/.pyenv/versions/3.8.2/lib/python3.8/site-packages/selenium/webdriver/remote/webdriver.py", line 360, in find_element_by_id
    return self.find_element(by=By.ID, value=id_)
  File "/Users/hiromu/.pyenv/versions/3.8.2/lib/python3.8/site-packages/selenium/webdriver/remote/webdriver.py", line 976, in find_element
    return self.execute(Command.FIND_ELEMENT, {
  File "/Users/hiromu/.pyenv/versions/3.8.2/lib/python3.8/site-packages/selenium/webdriver/remote/webdriver.py", line 321, in execute
    self.error_handler.check_response(response)
  File "/Users/hiromu/.pyenv/versions/3.8.2/lib/python3.8/site-packages/selenium/webdriver/remote/errorhandler.py", line 242, in check_response
    raise exception_class(message, screen, stacktrace)
selenium.common.exceptions.NoSuchElementException: Message: no such element: Unable to locate element: {"method":"css selector","selector":"[id="pnnext"]"}
  (Session info: chrome=87.0.4280.141)

該当のソースコード

from selenium import webdriver
from time import sleep

driver = webdriver.Chrome('/Users/hiromu/Desktop/Web/python/chromedriver')
driver.get('https://www.google.co.jp')

i = 0
while True:
    i = i + 1
    sleep(1)
    for elem_h3 in driver.find_elements_by_xpath('//a/h3'):
        elem_a = elem_h3.find_elements_by_xpath('..')
        print(elem_h3.text)
        print(elem_a.getattribute('href'))
    next_link = driver.find_element_by_id('pnnext')
    driver.get(next_link.get_attribute('href'))
    if i > 4:
        break


(違う例)
↓

for elem_h3 in driver.find_elements_by_xpath('//a/h3'):
    elem_a = elem_h3.find_element_by_xpath('..')
    print(elem_h3.text)
    print(elem_a.getattribute('href'))

試したこと

コピペして確かめました

補足情報（FW/ツールのバージョンなど）

MacOS Python初学者です

Answer 1

ここがエラーな理由がわかりません

該当タグが無いというエラーです。

Comments

[hiro.a]

そちらに関しては間違いはないです

[otn]

無いと言ってるプログラムの方が正しいです。
間違いが無いというのが、勘違いでしょう。

> 次へをクリックし
そもそも、googleのトップページ https://www.google.co.jp に「次へ」とか無いですよ。

Answer 2

【追記】
まずは、検索ボックスに検索するキーワードを入れること。その後に送信する処理が必要です。
その後、検索結果を表示したページの「次へ」の要素をとるとのことでしたら、id でも selector でも Xpath でも取得できるはずです。

---

以下のいずれかで試してはいかがでしょうか。

Selector:

#pnnext

Xpath:

//*[@id="pnnext"]

---

【さらに追記】

検索結果のページに行けば、貴殿の指定方法（※）で「次へ」の要素は取得できました。

（※）

next_link = driver.find_element_by_id('pnnext')