Pythonスクレイピング：指定した項目がない場合のreturn処理

Question

前提

Pythonを使って商品の口コミサイトのようなサイトをスクレイピングしています。
またそれをgspreadでスプレッドシートへ連携しています。

参照URL：

"https://xxx/review_list.aspx?pid=5or6桁"

こちらは１つの商品に対するレビュー一覧が掲載されているURLです。
ここのpidをfor文でループ処理を行おうとしています。

実現したいこと

「レビュー一覧を見に行った際に、「レビューがありません」となっていれば次のpidを参照しにいく」
という処理です。

現在のソースコード

import gspread
import requests
from bs4 import BeautifulSoup
from oauth2client.service_account import ServiceAccountCredentials
import time


for page in range(91610, 91620):
    url = "https://xxx/review_list.aspx?pid={}".format(page)
    r = requests.get(url)
    soup = BeautifulSoup(r.text, 'lxml')
    time.sleep(1.0)

    unelements = soup.select(".review_list li")
    item_name1 = soup.select("#breadcrumb ul.cf li:nth-of-type(3)")
    item_name2 = soup.select("#breadcrumb ul.cf li:nth-of-type(4)")
    review = soup.select('.review_review_text')
    post_time = soup.select('.review_info')
    hyoka = soup.select(".product_rep")

    # スプレッドシートへの挿入準備（認証）
    scope = [...]

    credentials = ServiceAccountCredentials.from_json_keyfile_name('xxx.json', scope)
    gc = gspread.authorize(credentials)
    wks = gc.open('gspreadサンプル').sheet1

    def sample(unelements):
        if unelements == "レビューの投稿はありません":
            return
        else:
            for num, e in enumerate(item_name1):
                num = index+1
                wks.update_acell('A'+str(num+1), e.get_text())

            for num, e in enumerate(item_name2):
                num = index+1
                wks.update_acell('B'+str(num+1), e.get_text())

            for index, e in enumerate(review):
                num = index+1
                wks.update_acell('E'+str(num+1), e.get_text())

            for index, e in enumerate(post_time):
                num = index+1
                wks.update_acell('C'+str(num+1), e.get_text()[0:11])

            for index, e in enumerate(hyoka):
                num = index+1
                text_ = e.i["class"][0]
                text_ = text_.replace('rep_','')
                text_ = text_.replace('_','.')
                wks.update_acell('D'+str(num+1), text_)

現状の結果

ターミナルでのエラーはないですが、スプレッドシートには全項目反映がありません。。

ちなみにdef sample()関数（if/else含め）を無くし、

for num, e in enumerate(item_name1):
                num = index+1
                wks.update_acell('A'+str(num+1), e.get_text())

            for num, e in enumerate(item_name2):
                num = index+1
                wks.update_acell('B'+str(num+1), e.get_text())

            for index, e in enumerate(review):
                num = index+1
                wks.update_acell('E'+str(num+1), e.get_text())

            for index, e in enumerate(post_time):
                num = index+1
                wks.update_acell('C'+str(num+1), e.get_text()[0:11])

            for index, e in enumerate(hyoka):
                num = index+1
                text_ = e.i["class"][0]
                text_ = text_.replace('rep_','')
                text_ = text_.replace('_','.')
                wks.update_acell('D'+str(num+1), text_)

とした場合には、レビューがない場合でも存在している「item_name2」（=B列）はあるため、レビューはないけど商品名だけ入ってくる状態です。その場合ですと、それ以外のレビューや評価項目の行がその分ずれてしまいます。

「レビューの投稿がありません」の場合はretrunなどで返すことは可能でしょうか。

pythonがまだ深く理解できておらず、、おそらく関数やif文の使い方がダメなのだと思います。

ご教示いただけますと幸いです。よろしくお願いいたします。

Comments

[aokikenichi]

「レビューの投稿がありません」の情報はどこに返ってくるのでしょうか。
そこで場合分けすればよいと思います。

Answer 1

if文でも対応が出来ます。
==で比較するのではなく
if page.find('li', string='レビューの投稿はありません'):とし
Noneが返ってきた場合にはelse以降の処理を～
Noneが返ってこない場合(該当の要素がある場合)にreturnするというものとなります。

また以下でややスムーズなコードに仕上げられるかと思うので参考にしてください。

def sample(pageid):
	url = 'https://furunavi.jp/review_list.aspx?pid={}'.format(pageid)
	res = requests.get(url)
	soup = BeautifulSoup(res.content, 'html.parser')
	page_check(soup)

def page_check(page):
	elems = [".review_list li", "#breadcrumb ul.cf li:nth-of-type(3)", "#breadcrumb ul.cf li:nth-of-type(4)",
			'.review_review_text', '.review_info', ".product_rep"]
	if page.find('li', string='レビューの投稿はありません'):
		return
	else:
		# 取得したページ内の情報をリストにひとまとめに。
		# こに引き続き行いたい処理を書いていく。
		elements = [page.select(e) for e in elems]


for page in range(91610, 91620):
	sample(page)

	time.sleep(1)

Comments

[gomasan]

非常にご丁寧にありがとうございます...! とてもコードが見やすいです。
また比較の方法についても、勉強になりました。こちら使用させていただきます。
本当にありがとうございます。

Answer 2

普通にレビューがなくNoneがレスポンスされる場合try,exceptで、
処理を分ける。
レビューがありませんと表示される場合それで、条件分岐する。
が善策かと

Comments

[gomasan]

「try,exceptで、処理を分ける。」
こちらでできました。。ありがとうございます。