Pythonとseleniumを用いて、検索結果を取得する。

Question

https://torina.top/detail/318/
上記のサイトを参考に、googleの検索結果を取得しようとしたですが、解消できないエラーに遭遇しました。

from collections import namedtuple
import time
from selenium import webdriver
from selenium.common.exceptions import NoSuchElementException
from selenium.webdriver.common.keys import Keys

SearchResultRow = namedtuple(
'SearchResultRow',
['title', 'ul', 'display_url', 'dis']
)

AdResultRow = namedtuple(
'AdResultRow',
['title', 'ul', 'display_url', 'dis1', 'dis2', 'dis3']
)

RelationResultRow = namedtuple(
'RelationResultRow',
['word', 'url']
)

def get_text_or_none(element, num):

    for row in driver.find_elements_by_css_selector('div.spam'):
        a_element = row.find_elements_by_tag_name('a')
        a1 = get_elements_of_one(a_element, 0)
        a2 = get_elements_of_one(a_element, 1)
        a3 = get_elements_of_one(a_element, 2)

    try:
        return element[num].text
    except IndexError:
        return ''

class GoogleScrapy:

    def __init__(self, keyword, end = 1, default_wait=5):
        self.url = 'https://www.google.co.jp?pws=0'
        self.keyword = keyword
        self.end = end
        self.default_wait = default_wait
        self.driver = webdriver.Firefox()
        self.searches = [[] for x in range(end)]
        self.ads = [[] for x in range(end)]
        self.relations = [[] for x in range(end)]

    def enter_keyword(self):
        self.driver.get(self.url)
        self.driver.find_element_by_id('lst-ib').send_keys(self.keyword)
        self.driver.find_element_by_id('lst-ib').send_keys(Keys.RETURN)

    def next_page(self):

        self.driver.find_elements_by_css_selector('a#pnnext').click()
        time.sleep(self.default_wait)

    def get_search(self, page):

        all_search = self.driver.find_element_by_class_name('rc')
        for data in all_search:
            title = data.find_element_by_tag_name('h3').text
            url = data.find_elements_by_css_selector('h3 > a').get_attribute('href')
            display_url = data.find_element_by_tag_name('cite').text
            try:
                dis = data.find_element_by_class_name('st').text
            except NoSuchElementException:
                dis = ''

            result = SearchResultRow(title, url, display_url, dis)
            self.searches[page].append(result)

    def get_ad(self, page):

        all_abs = self.driver.find_element_by_class_name('ads-ad')
        for abs in all_abs:
            title = abs.find_element_by_tag_name('h3').text
            url = abs.find_elements_by_css_selector('h3 > a')[1].get_attribute('href')
            display_url = abs.find_element_by_tag_name('cite').text

            dis_element = abs.find_element_by_class_name('ellip')
            dis1 = get_text_or_none(dis.element, 0)
            dis2 = get_text_or_none(dis.element, 1)
            dis3 = get_text_or_none(dis.element, 2)
            result = AdResultRow(title, url, display_url, dis1, dis2, dis3)
            self.abs[page].append(result)

    def get_relation(self, page):
        all_relation = self.driver.find_elements_by_css_selector('p._e4b > a')
        for relation in all_relation:
            word = relation.text
            url = relation.get_attribute('href')
            result = RelationResultRow(word, url)
            self.relations[page].append(result)

    def start(self):
        try:
            self.driver = webdriver.Firefox()
            self.driver.implicitly_wait(self.default_wait)
            self.enter_keyword()
            for page in range(self.end):
                self.get_search(page)
                self.get_ad(page)
                self.get_relation(page)
                self.next_page()

        finally:
            self.driver.quit()

from gscrapy import GoogleScrapy

google = GoogleScrapy('プログラミング', end=3)
google.start()

print('検索結果 全ページ')
print('-'*30)
for page_num, row in enumerate(google.searches, 1):
    print('-'*30)
    print('{0}ページ目'.format(page_num))
    print('-'*30)
    for row in rows:
        print(row.title)

print('-'*30)
print('広告1ページのみ')
print('-'*30)
for row in google.abs[0]:
    print(row.title)

print('-'*30)
print('関連キー3ページのみ')
print('-'*30)
for row in google.relations[2]:
    print(row.word )

エラーメッセージがこちらです。
Traceback (most recent call last):
File "main.py", line 4, in <module>
google.start()
File "/home/rarigo/snake_practice/gscrapy.py", line 101, in start
self.get_search(page)
File "/home/rarigo/snake_practice/gscrapy.py", line 60, in get_search
for data in all_search:
TypeError: 'FirefoxWebElement' object is not iterable

環境
Python3.5.2

このエラーの解消法を教えてください。

Answer 1

いくつかタイプミスがあるようですね。mkgrei様がおっしゃっているように、

「element]と「elements」
「ads」と「abs(ミスタイプと思われます。dです。)」

に注意してください。
また、get_text_or_none関数の上側のコードはドックストリングという、プログラムの説明的な部分に含まれていたコードです。実際の処理は、以下の4行だけです。

    try:
        return element[num].text
    except IndexError:
        return ''

どうにもならなかったら、単純にコピーペーストをするほうが良いかもしれません。

Answer 2

all_search = self.driver.find_elements_by_class_name('rc')だったりしませんか。