Pythonのコードが期待通りに実行されない

Question

以下のコードを実行すると、スーモから物件情報がHTML形式で落とされるはずなのですが・・・
どなたかご教授頂けないでしょうか。
ちなみにエラーは何も出ていないです。
Pythonは3.7.3です。

import requests
from bs4 import BeautifulSoup
import os
import time
# 通学時間20分、40分、60分場合分け
for folder in 20, 40, 60:
    # ディレクトリの場合分け
    dirname = "htmlbox{}".format(folder)
    if not os.path.exists(dirname):
        # ディレクトリ作成
        os.mkdir(dirname)
        # それぞれの1ページ目をhtml化
        if folder == 20:
            base_url = "https://suumo.jp/jj/chintai/ichiran/FR301FC001/?ar=030&ta=13&bs=040&ekInput=00320&tj=20&nk=-1&ct=9999999&cb=0.0&et=9999999&mt=9999999&mb=0&cn=9999999&shkr1=03&shkr2=03&shkr3=03&shkr4=03&fw2=&pc=30"
        if folder == 40:
            base_url = "https://suumo.jp/jj/chintai/ichiran/FR301FC001/?ar=030&ta=13&bs=040&ekInput=00320&tj=40&nk=-1&ct=9999999&cb=0.0&et=9999999&mt=9999999&mb=0&cn=9999999&shkr1=03&shkr2=03&shkr3=03&shkr4=03&fw2=&pc=30"
        if folder == 60:
            base_url = "https://suumo.jp/jj/chintai/ichiran/FR301FC001/?ar=030&ta=13&bs=040&ekInput=00320&tj=60&nk=-1&ct=9999999&cb=0.0&et=9999999&mt=9999999&mb=0&cn=9999999&shkr1=03&shkr2=03&shkr3=03&shkr4=03&fw2=&pc=30"
        response = requests.get(base_url)
        time.sleep(1)
        #ファイルに保存
        with open('htmlbox{}/page1.html'.format(folder), 'w', encoding='utf-8') as file:
            file.write(response.text)
        # urlの引き出し
        soup = BeautifulSoup(response.content, "lxml")
        # 2ページ以降のurlを定義
        pages = soup.find_all("div", class_="pagination pagination_set-nav")
        pages_text = str(pages)
        pages_split = pages_text.split('</a></li>\n</ol>')
        num_pages = int(pages_split[0].split('>')[-1])
        #2ページ目以降のurlをhtml化
        for i in range(2, num_pages + 1):
            next_url = base_url + "&page=" + str(i)
            response2 = requests.get(next_url)
            time.sleep(1)
            #ファイルに保存
            with open('htmlbox{}/page{}.html'.format(folder, i), 'w', encoding='utf-8') as file:
                file.write(response2.text)
        #検収条件
        print("{}分圏内の総ページ数".format(folder))
        print(num_pages)#実際取れたhtml数と比較

Comments

[y_waiwai]

実際にはどういう動作をするんでしょうか

[Taka787]

スーモから物件情報がHTML形式でhtmlbox20みたいなディレクトリができてその中にダウンロードされる想定です。ちなみにページ数は、1000ページを超える量です

[cateye]

つhttps://wirelesswire.jp/2015/06/32044/

[Taka787]

確かに、絶対に動くと自分では思っていても、プログラム上のミスを発見できなければ動くはずがないですよね
おっしゃる通りです。
気を付けます。

[otn]

>実際にはどういう動作をするんでしょうか
に対して、
>ダウンロードされる想定です。
実際動作しない想定を書かれても。。。

[Taka787]

失礼いたしました。

[quickquip]

> 以下のコードを実行すると
どうやって実行しているんですか?
そして実際にはどういう結果になっているのですか?

Answer 1

やりたいこと

import os
import requests
from bs4 import BeautifulSoup
from urllib.parse import urljoin

import time

with requests.Session() as s:

    for i in [20, 40, 60]:

        # ディレクトリ名作成
        new_path = f"./htmlbox{i}"

        # ディレクトリ作成       
        os.makedirs(new_path, exist_ok = True)

        link = f"https://suumo.jp/jj/chintai/ichiran/FR301FC001/?ar=030&ta=13&bs=040&ekInput=00320&tj={i}&nk=-1&ct=9999999&cb=0.0&et=9999999&mt=9999999&mb=0&cn=9999999&shkr1=03&shkr2=03&shkr3=03&shkr4=03&fw2=&pc=30"

        page = 0

        while link:

            page += 1

            r = s.get(link)

            soup = BeautifulSoup(r.content, 'html5lib')

            # HTMLを整形して保存
            with open(os.path.join(new_path, f"page{page}.html"), 'w', encoding='utf-8') as fw:
                fw.write(soup.prettify())

            # 次へを検索
            tag_next = soup.find("a", text="次へ")

            # URL作成、次へがなければNone
            link = urljoin("https://suumo.jp/", tag_next.get("href")) if tag_next else None

            time.sleep(3)

        print(f"{i}分圏内の総ページ数:{page}")

Comments

[Taka787]

ありがとうございます。
試させていただきます。

Answer 2

（縮小したので）ちょっと見にくいかも・・・
以下のHTMLからのリンク先が入るはずなのですか？

これは、エラー？

Comments

[cateye]

回答じゃなくてすみません。
現状、htmlbox20の中にpage1.htmlが出来ているだけです。
URLが長過ぎるのか？・・・アクセスできてないのかも？（URLを貼り付けたら見れましたが？）

[Taka787]

こちらではhtmlbox20さえできていません。
ちなみにURLは確認済みで見れました。