URL内のURLを「次へ」の分だけ取得したい

Question

##Python BeautifulSoupでのスクレイピング
####解決したい事
取得したURL内にジャンル毎のURLがあり全てを取得したい。
（ジャンル毎のURL内に「次へ」ボタンがある場合全てのページ分）

#ジャンル毎のURLは取得済みでリストに入っています。
url_list = []
for i in url_list:
    r = requests.get(i)
    soup = BeautifulSoup(r.text)
    get_next = soup.find('li',class_ = ('next'))

#１ページのみの場合はNoneが表示される為、複数ページある場合は「次ページ」を取得
    if get_next != None:
        next_pages2 = get_next.select('a[href]')
        for next_pages in next_pages2:
            next_page = 'https://----' + n_pages.get('href')
        print(n_page)
    

####問題点
・このコーディングだと複数ページある場合は、２ページ目のみを取得になっている為、全ページにしたい。
####試した事
・ifの箇所をwhile文に変更した。←１ページ目の「次へ」から２ページ目を取得。２ページ目の「次へ」から３ページ目を取得。を繰り返して欲しいのに、１ページ目の「次へ」から２ページ目を取得を無限ループしてしまう。

Answer 1

正確な状況がわかりませんが、再帰関数を使えば解決できる状況のような気がします。

def get_page(url):
    r = requests.get(url)
    soup = BeautifulSoup(r.text)
    get_next = soup.find('li',class_ = ('next'))
    sleep(3)
    if get_next:
        next_page_url = get_next.select('a[href]')
        get_page(next_page_url)

for url in url_list:
    get_page(url)

Comments

[Zarathustra]

etherbeg様
ご回答ありがとうございました。前進しましたが別の問題点が発生しました。
リスト内の最後のURLが7ページ分あるので、試したところ6回分処理がちゃんとされました。printで表示させると全てNoneになってしまいURLとして表示されませんでした。

[etherbeg]

私の回答は繰り返し処理についての考え方を示したものです。
BeautifulSoupを使ってHTMLソースから情報（URL)を取得する部分については、HTMLソースがわからず、また質問文のソースコードもよくわからなかったので、回答文のその部分については、質問文のソースコードからの適当なつぎはぎです。「正確な状況がわからない」と書いたのはそのような意味です。
繰り返し処理についての問題は解決しましたか？　もし解決したのであれば、この質問は「解決済」にステータスを変更した上で、別の問題については新たに質問を立てていただくのが望ましいです。

[Zarathustra]

繰り返し処理は無事できました。ありがとうございます。