検収条件が合いません

Question

__イタリックテキスト__度々、投稿失礼いたします。
Pythonでスーモから、クローリングした物件情報を、必要な情報だけをスクレイピングしてCSVに書きだす作業を行っています。
しかし、web上で検索した結果の物件数(286795件)とCSVに書き出された物件数(60916件)が一致しません。
ネット上に上がっていたサンプルコードでしたので、うまくいくはずなのですが・・・

試したこと
len(num) == len(df)←これ条件式ですが、実際にnum,dfの長さの値が何なのか標準出力して確認中です。

どなたかご教授お願いいたします。

スクレイピングコードは以下です。

# coding: UTF-8
import requests
from bs4 import BeautifulSoup
import os
import csv
import pandas as pd

#通学時間20分、40分、60分場合分け
for folder in 20, 40, 60:
    if folder == 20:
        num_html = 1079  #通勤時間が20分以内の取れたhtml数
    if folder == 40:
        num_html = 3630  #通勤時間が40分以内の取れたhtml数
    if folder == 60:
        num_html = 4608  #通勤時間が60分以内の取れたhtml数
    for i in range(num_html + 1):
    #取れたhtml数だけループ
        if i == 0:
        #0番目、つまり一番最初はcsvに項目だけ書きこむ
            with open('sumodata{}.csv'.format(folder), 'w', encoding='CP932',newline="") as file:
                writer = csv.writer(file)
                writer.writerow(["subtitle", "location", "station", "times", "years", "heights",
                   "floor", "rent", "admin", "deposit", "gratuity", "madori", "menseki"])
        else:
            with open('htmlbox{}/page{}.html'.format(folder, i), 'r', encoding='utf-8') as file:
                read = file.read()
            soup = BeautifulSoup(read, "lxml")
            cassetteitems = soup.find_all("div", class_="cassetteitem")
            #soupに入っているlxmlデータからクラスがcassetteitemのdivタグ要素を返す
            # 建物自体からスクレイピング
            for cas in range(len(cassetteitems)):#配列cassetteitemsの配列数までループ
                tbodies = cassetteitems[cas].find_all('tbody')#階・賃料・管理費・敷金・礼金・間取り・専有面積のひとまとまりの情報
                times1 = cassetteitems[cas].find("ul", class_="cassetteitem_transfer-list")#乗り換え回数・所要時間
                yearsheights = cassetteitems[cas].find("li", class_="cassetteitem_detail-col3") #築年数　高さ
                subtitle = cassetteitems[cas].find("div", class_="cassetteitem_content-title").string#物件名
                location = cassetteitems[cas].find("li", class_="cassetteitem_detail-col1").string#住所
                station = cassetteitems[cas].find("div", class_="cassetteitem_detail-text").string#最寄り駅
                times = times1.find("li").string#乗り換え回数・所要時間
                years = yearsheights.find_all('div')[0].string#築年数
                heights = yearsheights.find_all('div')[1].string#階数
                # 一つの建物のうちの部屋数をスクレイピング
                for tbody in tbodies:#tbodyにtbodiesのデータをひとつづつ取り出す
                    cols = tbody.find_all("td")
                    #colsにtbodyの中のtdタグを全て代入
                    for col, floor1 in enumerate(cols):#インデックス番号, 要素の順に取得できる。
                        if col == 2:#インデックス番号が２の場合
                            floor = floor1.string#floorに物件の階数を代入
                    rent = tbody.find(class_="cassetteitem_price cassetteitem_price--rent").string
                    #リストrentには、物件の家賃を代入
                    admin = tbody.find(class_="cassetteitem_price cassetteitem_price--administration").string
                    #リストadminには、管理費を代入
                    deposit = tbody.find(class_="cassetteitem_price cassetteitem_price--deposit").string
                    #リストdepositには、敷金を代入
                    gratuity = tbody.find(class_="cassetteitem_price cassetteitem_price--gratuity").string
                    #リストgratuityには、礼金を代入
                    madori = tbody.find(class_="cassetteitem_madori").string
                    #リストmadoriには、間取りを代入
                    menseki = tbody.find(class_="cassetteitem_menseki").text
                    #リストmensekiには、専有面積を代入
                    with open('sumodata{}.csv'.format(folder), 'a', encoding='CP932',newline="") as file :#sumodata{}.csvに追記
                        writer = csv.writer(file)
                        writer.writerow([subtitle, location, station, times, years, heights,floor, rent, admin, deposit, gratuity, madori, menseki])
                        # リストの中身を格納していく
    #検収条件
    df = pd.read_csv("sumodata{}.csv".format(folder), encoding="CP932")
    with open('htmlbox{}/page1.html'.format(folder), 'r', encoding='utf-8') as file:
        url = file.read()
    #掲載物件数をスクレイピング
    soup = BeautifulSoup(url,"lxml")
    pages = soup.find("div", class_="paginate_set-hit")
    #変数pagesにヒットした物件情報の数を代入
    pages_text = str(pages)
    #変数pagesを文字列型の変換
    pages_split = pages_text.split('\n')
    #リストpages_splitに、改行文字で区切った要素を代入
    pages = pages_split[1]
    #変数pagesには、「288669<span>件</span>」を代入
    num_text = pages.split("<span>")
    #リストnum_textには、<span>で区切った要素を代入
    num = num_text[0]
    #変数numには、ヒットした物件数の数値のみを代入
    if len(num) == len(df):
    #スクレイピングしたcsvデータの物件数と実際の検索結果物件数が一致しているか確認
        print("Clear")
        #もし、一致していた場合、clearを表示
    else:
        print("データが欠損")
        #データが欠損していた場合、データが欠損と表示

Comments

[coco_bauer]

ネットに上がっているからという理由だけで、コードを信用するのは危険です！
また、webページは不定期に改修が行われるので、ある時に動作したコードであったとしても、今正常に動作するとは限りません。

[Taka787]

失礼いたしました

Answer 1

スーモのサイトに以下が記載されていました。大変失礼いたしました。

不動産会社が掲載している物件総数です。

SUUMOでは、同一と思われる物件を１つにまとめて表示しているため、
掲載物件総数と物件一覧に表示されている件数が異なる場合があります。