【python 3.x jupyter】エラーも何も表示されない場合の対処方法がわからない

Question

python3を勉強し始めて7日目の初心者です。

python3のスクレイピングに挑戦しているのですが、エラーが表示されなくなってしまったため、エラー個所がわからずに困っています。
コードを切り分けると動作するのですが、一緒にすると何も表示されなくなります。

実行したい機能としては、ページネーション も含めた最下層の全てのページのURLを取得し、その後、各URLから指定したクラス名のタグ内にあるテキストを取得したいです。

【機能1】：ページネーション を含む、全ての最下層ページのURLを取得
【機能2】：特定のURLから、指定したクラスメイのタグ内にあるテキストを取得

エラーが表示されないソースコード【機能1】【機能2】

import sys
import requests
import re
import urllib.request, urllib.error
from bs4 import BeautifulSoup


【機能1】
def get_href():
	i = 1
	num = 2
	while i < 48:
		for num in range(1, 300):
			zero_i = str(i).zfill(2)
			base = 'https://www.judo-ch.jp/sekkotsuinsrch/{}/list/{}/'
			url = base.format(zero_i,num)
			res = requests.get(url)
			if res.status_code == 200:
				html = requests.get(url)
				soup = BeautifulSoup(html.content,"html.parser")
				for tag in soup.find_all("h3","shisetsu_name_s"):
					link = tag.find("a")
					url = link.get("href")
				for s_tag in soup.find_all("h3","shisetsu_name"):
					s_link = s_tag.find("a")
					s_url = s_link.get("href")
				links = soup.find_all("a","fa_name")
				for link in links:
					l_url = link.get('href')
			else:
				break
			num += 1
		else:
			break
		i += 1


【機能2】
def get_soup(url):
	html = requests.get(url)
	return BeautifulSoup(html.content, "html.parser")

def scraping_gh():

	soup = get_soup(get_href())

	# 整骨院の名称
	res_p = soup.find("span", "name")
	res = res_p.find(text=re.compile(""))
	print(res.string)
	# ホームページのURL
	res_p = soup.find("p", "lnk_url")
	res = res_p.find(text=re.compile(""))
	print(res.string)

scraping_gh()

【機能1】【機能2】はそれぞれ動作するのですが、一緒にすると、エラーも表示されなくなってしまいました。
わかる方、教えていただけると幸いです。

動作するソースコード【機能1】

import sys
import requests
import re
import urllib.request, urllib.error
from bs4 import BeautifulSoup

def get_href():
	i = 1
	num = 2
	while i < 48:
		for num in range(1, 300):
			zero_i = str(i).zfill(2)
			base = 'https://www.judo-ch.jp/sekkotsuinsrch/{}/list/{}/'
			url = base.format(zero_i,num)
			res = requests.get(url)
			if res.status_code == 200:
				html = requests.get(url)
				soup = BeautifulSoup(html.content,"html.parser")
				for tag in soup.find_all("h3","shisetsu_name_s"):
					link = tag.find("a")
					url = link.get("href")
					print(url)
				for s_tag in soup.find_all("h3","shisetsu_name"):
					s_link = s_tag.find("a")
					s_url = s_link.get("href")
					print(s_url)
				links = soup.find_all("a","fa_name")
				for link in links:
					l_url = link.get('href')
					print(l_url)
			else:
				break
			num += 1
		else:
			break
		i += 1
get_href()

動作するソースコード【機能2】

import sys
import requests
import re
import urllib.request, urllib.error
from bs4 import BeautifulSoup

def get_soup(url):
    """URLのSoupを取得する"""
    html = requests.get(url)
    return BeautifulSoup(html.content, "html.parser")

def scraping_gh():
    """Software Design の情報を取得"""
    soup = get_soup("https://www.judo-ch.jp/sekkotsuinsrch/13/13201/030637/")

    # 整骨院の名称
    res_p = soup.find("span", class_="name")
    res = res_p.find(text=re.compile(""))
    print(res.string)
    # ホームページのURL
    res_p = soup.find("p", class_="lnk_url")
    res = res_p.find(text=re.compile(""))
    print(res.string)
scraping_gh()

Comments

[y_waiwai]

一緒にしたときのコードを提示しましょう

[退会済みユーザー]

すみません、上記が一緒にした時のコードです！

[y_waiwai]

見る限り、このコードのままでは実行できないと思いますが。

[退会済みユーザー]

申し訳ございません。それぞれ切り分けて修正しました。

Answer 1

下記で解決しました。

import sys
import requests
import re
import urllib.request, urllib.error
from bs4 import BeautifulSoup


i = 1
num = 2
while i < 48:
    for num in range(1, 300):
        zero_i = str(i).zfill(2)
        base = 'https://www.judo-ch.jp/sekkotsuinsrch/{}/list/{}/'
        url = base.format(zero_i,num)
        res = requests.get(url)
        if res.status_code == 200:
            html = requests.get(url)
            soup = BeautifulSoup(html.content,"html.parser")
            for tag in soup.find_all("h3","shisetsu_name_s"):
                link = tag.find("a")
                url = link.get("href")
                html = requests.get(url)
                get_soup = BeautifulSoup(html.content, "html.parser")
                res_p = get_soup.find("p", "lnk_url")
                if res_p is not None:
                    print(res_p.text)
                res_p = get_soup.find("span", "name")
                if res_p is not None:
                    print(res_p.text)
                res_p = get_soup.find("dd", "name")
                if res_p is not None:
                    print(res_p.text)
            for s_tag in soup.find_all("h3","shisetsu_name"):
                s_link = s_tag.find("a")
                s_url = s_link.get("href")
                html = requests.get(s_url)
                get_soup = BeautifulSoup(html.content, "html.parser")
                res_p = get_soup.find("p", "lnk_url")
                if res_p is not None:
                    print(res_p.text)
                res_p = get_soup.find("span", "name")
                if res_p is not None:
                    print(res_p.text)
                res_p = get_soup.find("dd", "name")
                if res_p is not None:
                    print(res_p.text)
            links = soup.find_all("a","fa_name")
            for link in links:
                i_url = link.get("href")
                html = requests.get(i_url)
                get_soup = BeautifulSoup(html.content, "html.parser")
                res_p = get_soup.find("p", "lnk_url")
                if res_p is not None:
                    print(res_p.text)
                res_p = get_soup.find("span", "name")
                if res_p is not None:
                    print(res_p.text)
                res_p = get_soup.find("dd", "name")
                if res_p is not None:
                    print(res_p.text)
        else:
            break
        num += 1
    else:
        break
    i += 1