ホームズの賃貸情報取得

Question

ホームズ スクレイピング

スーモでは同様の使用でデータを取得できましたが、ホームズではできませんでした。

発生している問題・エラーメッセージ

page 1 items 0
page 2 items 0
page 3 items 0
page 4 items 0
　　　：
page 875 items 0

と表示されエラーが出ません。

該当のソースコード

```from retry import retry
import requests
from bs4 import BeautifulSoup
import pandas as pd 

base_url = "https://www.homes.co.jp/search/condition1/?page={}"

@retry(tries=3, delay=10, backoff=2)
def get_html(url):
    r = requests.get(url)
    soup = BeautifulSoup(r.content, "html.parser")
    return soup

all_data = []
max_page = 875

for page in range(1, max_page+1):
    url = base_url.format(page)
    
    soup = get_html(url)
    
    items = soup.findAll("div", {"class": "moduleInner prg-building"})
    print("page", page, "items", len(items))
    
    for item in items:
        stations = item.findAll("span", {"class": "prg-stationText"})
        
        for station in stations:
            base_data = {}
            base_data["名称"] = item.find("span", {"class": "bukkenName prg-detailLinkTrigger"}).getText().strip()
            base_data["カテゴリー"] = item.find("span", {"class": "bType"}).getText().strip()
            base_data["アドレス"] = item.find("div", {"class": "bukkenSpec"}).findAll("td")[0].getText().strip()
            base_data["アクセス"] = station.getText().strip()
            base_data["築年数"] = item.find("div", {"class": "bukkenSpec"}).findAll("td")[2].getText().strip()
            base_data["構造"] = item.find("div", {"class": "bukkenSpec"}).findAll("td")[2].getText().strip()
            

            tbodys = item.find("table", {"class": "unitSummary unitResidenceSummary"}).findAll("tbody")
            
            for tbody in tbodys:
                data = base_data.copy()
                data["階数"] = tbody.findAll("td")[1].findAll("li")[0].getText().strip()
                data["家賃"] = tbody.findAll("td")[2].getText().strip()
                data["管理費"] = tbody.findAll("td")[2].getText().strip()
                data["敷金"] = tbody.findAll("td")[2].getText().strip()
                data["礼金"] = tbody.findAll("td")[2].getText().strip()
                data["間取り"] = tbody.findAll("td")[3].getText().strip()
                data["面積"] = tbody.findAll("td")[3].getText().strip()
                
                data["URL"] = tbody.findAll("td")[5].find("a").get("href")
                
                all_data.append(data)    

df = pd.DataFrame(all_data)
df.to_csv('211025_23区.csv', encoding='utf_8_sig')

### 試したこと



### 補足情報（FW/ツールのバージョンなど）

Comments

[1T2R3M4]

インデントを正しくつけていないからでは。

[manatahasu]

from retry import retry
import requests
from bs4 import BeautifulSoup
import pandas as pd

base_url = "https://www.homes.co.jp/search/condition1/?page={}"

@retry(tries=3, delay=10, backoff=2)
def get_html(url):
r = requests.get(url)
soup = BeautifulSoup(r.content, "html.parser")
return soup

all_data = []
max_page = 875

for page in range(1, max_page+1):
url = base_url.format(page)

soup = get_html(url)

items = soup.findAll("div", {"class": "moduleInner prg-building"})
print("page", page, "items", len(items))

for item in items:
stations = item.findAll("span", {"class": "prg-stationText"})

for station in stations:
base_data = {}
base_data["名称"] = item.find("span", {"class": "bukkenName prg-detailLinkTrigger"}).getText().strip()
base_data["カテゴリー"] = item.find("span", {"class": "bType"}).getText().strip()
base_data["アドレス"] = item.find("div", {"class": "bukkenSpec"}).findAll("td")[0].getText().strip()
base_data["アクセス"] = station.getText().strip()
base_data["築年数"] = item.find("div", {"class": "bukkenSpec"}).findAll("td")[2].getText().strip()
base_data["構造"] = item.find("div", {"class": "bukkenSpec"}).findAll("td")[2].getText().strip()

tbodys = item.find("table", {"class": "unitSummary unitResidenceSummary"}).findAll("tbody")

for tbody in tbodys:
data = base_data.copy()
data["階数"] = tbody.findAll("td")[1].findAll("li")[0].getText().strip()
data["家賃"] = tbody.findAll("td")[2].getText().strip()
data["管理費"] = tbody.findAll("td")[2].getText().strip()
data["敷金"] = tbody.findAll("td")[2].getText().strip()
data["礼金"] = tbody.findAll("td")[2].getText().strip()
data["間取り"] = tbody.findAll("td")[3].getText().strip()
data["面積"] = tbody.findAll("td")[3].getText().strip()

data["URL"] = tbody.findAll("td")[5].find("a").get("href")

all_data.append(data)

df = pd.DataFrame(all_data)
df.to_csv('211025_23区.csv', encoding='utf_8_sig')

失礼しました、該当ソースコードにインデント反映されていませんでした。
上記なのでインデントは問題ないと思います。

[KojiDoi]

どこをどう見れば「上記なのでインデントは問題ない」という認識に至れるのでしょうか。

[CHERRY]

通常のテキスト入力では、インデントのタブやスペースは表示されませんので、マークダウンを用いて記載していただけないでしょうか。
https://teratail.com/help/question-tips#questionTips3-3-1 参照

Answer 1

ブラウザででのリクエストとこういったライブラリでのリクエストは、リクエストヘッダーなどの設定などを含めて差異があります。
最小コードで実際にどういうレスポンスが来るかを見てからコードを書き進めたほうが良い気がします。

少なくとも、自身の環境では以下のコードで、

import requests

url = "https://www.homes.co.jp/search/condition1/?page=1"

print(requests.get(url).text)

以下の内容が出力されています。

(前略)
            <h2 style="margin-top: 0;">リクエストがブロックされました！</h2>
            <p>あなたのリクエストがボットからのアクセスと判断されました。この画面が表示される理由はいくつかあります。
            </p>
(後略)

スクレイピング対策が取られています。
規約としてどうかは別として、スクレイピング対策となる実装がされている以上、やめたほうが良いと思います。