python3 / beautifulsoup / 特定サイト内スクレイピング

Question

現在のコードで収集できるアドレス情報の他に「事業者名」「住所」「電話番号」「紹介文（◆で始まる文章）」もあわせて収集するようにしたく考えております
ご教授頂けると幸いです
https://itp.ne.jp/genre_dir/syaken/?ngr=1&sr=1このページにある情報を収集するつもりです

※titoiさん、ご覧頂いていると思います。個別依頼等の方がよろしければその旨ご指示ください

import time
import csv
import re
import requests
import bs4

# 取得ページ分だけURLを生成して、配列に保持する。
begin = 5  # 取得開始ページ
end = 10  # 取得終了ページ
base_url = 'https://itp.ne.jp/genre_dir/syaken/pg/{page_no}/'
urls = [base_url.format(page_no=i) for i in range(begin, end)]
print(urls)

# 配列を一個づつ回して、htmlを解析して、メールアドレスだけ取得
addrs = []
for url in urls:
    print('fetching... ' + url)
    res = requests.get(url)
    soup = bs4.BeautifulSoup(res.text, 'html.parser')
    for a_tag in soup.find_all('a', class_='boxedLink emailLink'):
        match = re.search(r'[\w.-]+@[\w.-]+', a_tag['onclick'])
        if match:
            addrs.append([match.group(0)])

    time.sleep(1)  # アクセス間隔
print(addrs)

with open('test.csv', 'w', encoding='utf8') as f:
    writer = csv.writer(f)
    writer.writerows(addrs)

Answer 1

詰まったらこちらで質問するのはいいですが、まずは Beautiful Soup の勉強をして、ご自身でも試されてはどうでしょうか。

• PythonとBeautiful Soupでスクレイピング
• Beautiful Soup Documentation
• CSSセレクタの種類

スクレイピングの手順

1. ブラウザでサイトの情報がほしい箇所の HTML 構造がどうなっているか確認する。(Chrome ならその箇所を右クリックし、検証を選択」
2. soup.find()、soup.find_all()、soup.select() などで該当箇所の DOM を選択する。
3. テキストを抽出し、replace()、strip()、正規表現など使い、ゴミを取り除く。

「事業者名」「住所」「電話番号」「紹介文」「郵便番号」「メールアドレス」を抽出するサンプルコードを記載しました。

import time
import csv
import re
import requests
import bs4

# 取得ページ分だけURLを生成して、配列に保持する。
begin = 5  # 取得開始ページ
end = 10  # 取得終了ページ
base_url = 'https://itp.ne.jp/genre_dir/syaken/pg/{page_no}/'
urls = [base_url.format(page_no=i) for i in range(begin, end)]
print(urls)

# 配列を一個づつ回して、htmlを解析して、メールアドレスだけ取得
info = []
for url in urls:
    print('fetching... ' + url)
    res = requests.get(url)
    soup = bs4.BeautifulSoup(res.text, 'html.parser')
    
    selctions = soup.select('section')
    sections = soup.find_all('section', attrs={'class': None})
    for section in sections:
        name = section.h4.a.string  # 事業所名
        link = section.h4.a['href']  # URL
        p_tags = section.find_all('p')
        if p_tags[0].string:  # 説明は存在しない場合がある
            desc = p_tags[0].string.strip().replace('\u3000', '')  # 説明
        else:
            desc = None
        addr = p_tags[1].span.next_sibling.strip()
        postal_code = addr.split('\u3000')[0]  # 郵便番号
        addr = addr.split('\u3000')[1]  # 住所
        tel = p_tags[2].b.string  # 電話番号
        mail = p_tags[3].find('a', class_='boxedLink emailLink')  # メールアドレス
        if mail:  # メールアドレスは掲載していない場合がある
            match = re.search(r'[\w.-]+@[\w.-]+', mail['onclick'])
            mail = match.group(0)
        info.append({'name': name, 'description': desc, 'postal_code': postal_code,
                     'address': addr, 'tel': tel, 'mail': mail})
#     from pprint import pprint
#     pprint(info)

    time.sleep(1)  # アクセス間隔

with open('test.csv', 'w', encoding='utf8') as f:
    writer = csv.DictWriter(f, fieldnames=info[0].keys())
    writer.writerows(info)

Comments

[sadie]

お礼が遅れすみません
CSSセレクタの種類について、とても勉強になりました
その他の情報についても穴が空くほど見ているんですが難しく・・
いつもありがとうございます
学んでもっとできるようになりたいです
今後、titoiさんに個別にいろいろとビジネスとしてという建て付け含めご指導、ご教授頂きたいと考えているんですが、そのようなご提案は失礼でしょうか？
ご返信お待ちしております

[tiitoi]

> CSSセレクタの種類について、とても勉強になりました
> その他の情報についても穴が空くほど見ているんですが難しく・・

Web 上の情報の他、Amazon で調べたところ、Python でのスクレイピングについて解説した書籍もいくつか出版されているので、活用されてはどうでしょうか。
一度に理解するのは難しいと思うので、お時間があるときに少しずつ勉強して、できることを増やしていけばよいと思います。

> 今後、titoiさんに個別にいろいろとビジネスとしてという建て付け含めご指導、ご教授頂きたいと考えているんですが、そのようなご提案は失礼でしょうか?

今後もこちらで質問していただければ、回答できる内容であれば回答しますよ。
「ビジネスとして」とはどういう意味でしょうか？

[sadie]

ご返信ありがとうございます
私にお教え頂く作業自体を、クラウドソーシング等で有償依頼発注する方がよろしいでしょうか？
いつもtitoiさんが完ぺきなサンプルコードと内容教示をくださるので、お礼をお伝えするだけで足りていないと考えたためです

[tiitoi]

teratail は仕事中に息抜きにやっているだけなので、有償依頼は責任が発生することと、時間がとれる保証ができないので、申し訳ないですが、難しいです。

teratail はあくまでわからないことを聞く質問サイトなので、ご自身で試してみて詰まった場合はこれまで通り teratail で聞いてよいかと思います。
依頼ということであれば、クラウドソーシングを活用されるとよいと思います。

ランサーズをちょっと見てみましたが、スクレイピングでしたら数千円～依頼できるようです。
https://www.lancers.jp/work/search?keyword=%E3%82%B9%E3%82%AF%E3%83%AC%E3%82%A4%E3%83%94%E3%83%B3%E3%82%B0

[sadie]

ありがとうございます

「実践力を身につける Pythonの教科書」早速購入しました
勉強します！

引き続きよろしくお願いいたします