Pythonスクレイピング：正規表現での「年」の取り扱いについて

Question

前提・実現したいこと

Pythonでサイトの口コミをスクレイピングしています。
また、結果をcsvに抽出しています。
ライブラリ：selenium

発生している問題

正規表現を使って、昨日の日付のみ抽出したいのですが、
2019年の口コミになると以下の通りエラーとなります。

Traceback (most recent call last):
  File "/Users/xxx/Desktop/ファイル/choice/xxx.py", line 66, in <module>
    review_date = str2date(review_date_str)
  File "/Users/xxx/Desktop/ファイル/choice/xxx.py", line 9, in str2date
    tar_date = datetime(int(result[1]), int(result[2]), int(result[3]))
TypeError: 'NoneType' object is not subscriptable

該当のソースコード

コード全体

from selenium import webdriver
import time
import csv
import re
from datetime import datetime, date, timedelta

def str2date(date_str):
        result = re.search(r'(\d{4})年(\d{1,2})月(\d{1,2})日', date_str) 
        tar_date = datetime(int(result[1]), int(result[2]), int(result[3]))
        print(result[1])
        return tar_date

def is_yesterday(tar_date):
        now = datetime.now()
        yesterday = now - timedelta(days=1)
        yesterday_str = datetime.strftime(yesterday, '%Y-%m-%d')
        tar_date_str = datetime.strftime(tar_date, '%Y-%m-%d')

        return tar_date_str == yesterday_str

# 現在の時刻を年、月、日、時、分、秒で取得
time_ = datetime.today().strftime("%Y%m%d")

csv_file_name = "choice" + time_ + ".csv"
f = open(csv_file_name, 'w',encoding='cp932', errors='ignore')

#ファイルへの書き込み
writer = csv.writer(f, lineterminator='\n')

#headerの指定
csv_header = ["商品名", "投稿日","レビュー"]
writer.writerow(csv_header)

# ブラウザを開く
browser = webdriver.Chrome()
# URLを開く
url = "https://www.furusato-tax.jp/city/product/01219?incsoldout=1&sort=11&page=1"
browser.get(url)
time.sleep(1.0)
elems_box = browser.find_element_by_css_selector('.result-search')
elems = elems_box.find_elements_by_css_selector('.card-product')
review_score_src_list = []
contain_review_links = []
review_links = []
for elem in elems[4:6]:
        time.sleep(1.0)
        # 3のaタグがclass = 'card-product__comment'である場合のみ、先に進む
        card_products = elem.find_elements_by_css_selector('a')[2]
        elem_card_products = card_products.get_attribute('class')
        if elem_card_products != 'card-product__comment':
                continue
        else:
                contain_review_links.append(card_products.get_attribute('href'))

for contain_review_link in contain_review_links:
        time.sleep(1.0)
        browser.get(contain_review_link)
        review_lists = browser.find_elements_by_css_selector('.review-list__content')
        for review_list in review_lists:
                csv_list = []
                product_name = review_list.find_element_by_css_selector('.review-list__name').text[3:]
                review_date_str = review_list.find_element_by_css_selector('.review-list__date').text[4:14]
                review_date = str2date(review_date_str)
                review_body = review_list.find_element_by_css_selector('.review-list__text').text.replace('\n','')
                if is_yesterday(review_date):
                        csv_list.append(product_name)
                        csv_list.append(review_date)
                        csv_list.append(review_body)
                        writer.writerow(csv_list)

f.close()
browser.close()

エラー箇所

line9:
tar_date = datetime(int(result[1]), int(result[2]), int(result[3]))

line66:
review_date = str2date(review_date_str)

試したこと

 print(result[1])

で年をprintした結果、

2020
2020
2020
2020
2020
2020
2020
Traceback (most recent call last):
  File "/Users/xxx/Desktop/ファイル/choice/xxx.py", line 66, in <module>
    review_date = str2date(review_date_str)
  File "/Users/xxx/Desktop/ファイル/choice/xxx.py", line 9, in str2date
    tar_date = datetime(int(result[1]), int(result[2]), int(result[3]))
TypeError: 'NoneType' object is not subscriptable

となります。

理想の結果としては、

2020
2020
2020
2020
2020
2020
2020
2019
2019
2019

です。

正規表現の書き方の問題なのか、調べてもこの年の取り扱いがいまいち分からず...
ご教示いただけますと幸いです。
よろしくお願いいたします。

Comments

[otn]

どこから期待通りでなくなっているのか、遡って調べましょう。

Answer 1

ええと、これは2019のマッチに失敗しているわけではありません。年月日の文字列を切り取るスライスに問題があります。

review_date_str = review_list.find_element_by_css_selector('.review-list__date').text[4:14]

.review-list__dateクラスのテキストには「投稿日：2019年12月15日 12:17」といった形式の文字列が格納されています。

現在のスライス[4:14]だと、「12月15日」のように、月と日の数値がともに2桁の場合、スライスした文字列に「日」が含まれないのです。その結果、str2dateでの正規表現のマッチに失敗し、resultがNoneになります。当然、result[1]などを参照すれば、提示されているエラーが発生します。

2020年のデータはまだ月の数値が2桁のものが存在しないため、2019年のデータになってはじめて問題が露呈したというわけ。

対策としては、スライスを[4:]に修正して、

review_date_str = review_list.find_element_by_css_selector('.review-list__date').text[4:]

のようにすれば、「12月15日」などでも問題なくマッチするようになります。修正前とは違って、時刻の文字列までスライスで得られますが、($を使っていないので)正規表現のマッチに問題は起きません。

Comments

[gomasan]

ありがとうございます！！言われて確かにと納得しました..とても丁寧な解説をありがとうございます。よく理解できました。本当にありがとうございます。