selenium 複数項目の情報取得について

Question

下記サイトより、コメントnumber、コメント、名前、投稿日時、を取得したいと考えています。
http://**********************************

下記のように記載してみましたが、投稿日時だけ上手くいきませんでした。。。。

from selenium import webdriver
driver = webdriver.Chrome()
url = 'http://********************************::'
driver.get(url)
elem = driver.find_element_by_class_name('link_list')
url = elem.find_element_by_tag_name('a').get_attribute('href')
driver.get(url)

num = []
res = []
name = []
date = []

elems = driver.find_elements_by_tag_name('article')
for elem in elems:
    num.append(elm.find_element_by_tag_name('a').get_attribute('title'))
    res.append(elem.find_element_by_tag_name('div').text)
    name.append(elem.find_element_by_tag_name('span').text)
    date.append(elem.find_element_by_class_name('date').text)
driver.quit()

初心者のため稚拙な質問かもしれませんが、ご教示の程よろしくお願い致します。

Answer 1

プログラムの書き方としては、間違ってなさそうなので、何を以て対象タグを探すかという探し方が間違っているのでしょう。
もう一度よくHTMLを見ましょう。

Comments

[john_doe_]

ありがとうございます。サイトによって構造が違うので勉強になっています。

[john_doe_]

何度も見返してみましたが、下記の書き方で一番最初の情報は取得できましたが、
for文でループさせるとclassが存在しないとエラーになってしまいました。。。。

elem = driver.find_element_by_tag_name('article')
elem.find_element_by_class_name('date').text

[otn]

デバッグのために
print(elem.text)
とかを入れてみればどうでしょう？

[john_doe_]

いつもお返事ありがとうございます。
原因はわからず終いですが、不慣れなxpathを試してみたら取得できました。

Answer 2

xpathでの解決になりますが、下記で情報取得できました。

for elem in elems:
time_date.append(elem.find_element_by_xpath('//article/time/span[2]').text)