python3 / beautifulsoup / 特定サイト内スクレイピングにおける対象ページ設定

Question

特定サイト（iタウンページ）の検索結果をスクレイピングで収集したいです
「指定したページ」の結果を全て収集できるようにしたいのですが、本コードをどのように変更することで成せましょうでしょうか？

import time
import csv
import re
import requests
import bs4

# 5ページ分だけ取得して、配列に保持する。
base_url = 'https://itp.ne.jp/genre_dir/syaken/pg/{page_no}/'
urls = [base_url.format(page_no=i) for i in range(100)]
print(urls)

# 配列を一個づつ回して、htmlを解析して、メールアドレスだけ取得
addrs = []
for url in urls:
    print('fetching... ' + url)
    res = requests.get(url)
    soup = bs4.BeautifulSoup(res.text, 'html.parser')
    for a_tag in soup.find_all('a', class_='boxedLink emailLink'):
        match = re.search(r'[\w.-]+@[\w.-]+', a_tag['onclick'])
        addrs.append([match.group(0)])

    time.sleep(1)  # アクセス間隔
print(addrs)

with open('test.csv', 'w', encoding='utf8') as f:
    writer = csv.writer(f)
    writer.writerows(addrs)

Comments

[tiitoi]

「指定したページ」の結果とは具体的にはどのような情報がほしいのでしょうか？現状のコードの問題点も追記してください。
あとタイトルに入っている Google はこの件では関係ありませんよね。

[sadie]

titoisさん、いつもありがとうございます。googleは間違いです、すみません。https://itp.ne.jp/genre_dir/syaken/?ngr=1&sr=1 この検索結果にある事業者のアドレスをスクレイピングしていて、この検索結果のページを「1から50ページまで」「20から50ページまで」というように任意に指定したく考えています

Answer 1

既存のコードの [base_url.format(page_no=i) for i in range(100)] の部分を変えればいいかと思います。

サンプルコードを以下に貼ります。

import time
import csv
import re
import requests
import bs4

# 取得ページ分だけURLを生成して、配列に保持する。
begin = 5  # 取得開始ページ
end = 10  # 取得終了ページ
base_url = 'https://itp.ne.jp/genre_dir/syaken/pg/{page_no}/'
urls = [base_url.format(page_no=i) for i in range(begin, end)]
print(urls)

# 配列を一個づつ回して、htmlを解析して、メールアドレスだけ取得
addrs = []
for url in urls:
    print('fetching... ' + url)
    res = requests.get(url)
    soup = bs4.BeautifulSoup(res.text, 'html.parser')
    for a_tag in soup.find_all('a', class_='boxedLink emailLink'):
        match = re.search(r'[\w.-]+@[\w.-]+', a_tag['onclick'])
        if match:
            addrs.append([match.group(0)])

    time.sleep(1)  # アクセス間隔
print(addrs)

with open('test.csv', 'w', encoding='utf8') as f:
    writer = csv.writer(f)
    writer.writerows(addrs)

Comments

[sadie]

ありがとうございます
いつもありがとうございます
titoiさんにいつもご教授いただいていますが、今後直接個別回答依頼にてお伺いをしたほうがよろしいでしょうか？

[tiitoi]

たまたま回答できる質問を見かけたら、回答しているだけなので、個別依頼でなく普通の質問で大丈夫ですよ。
いつも回答できるとは限らないので。