Q&A
前提・実現したいこと
iタウンページをpythonでスクレイピングして、メールアドレスを大量に取得し、
CSVファイルに書き出したい
発生している問題
CSVファイルにメールアドレスが一個しか出力されません。
プログラミング超初心者で、手探りでコードを書いてみましたが行き詰ってしまいました。
先に進む方法を教えていただけないでしょうか？
よろしくお願いいたします！
該当のソースコード
-- coding: utf-8 --
"""
Created on Sun Sep 15 10:56:44 2019
@author: user
"""
"""
"""
import requests
import bs4
import re
import csv
res = requests.get('https://itp.ne.jp')
res.raise_for_status()
soup = bs4.BeautifulSoup(res.text, "html.parser")
"""
"""
url_list = []
for i in range(5):
value = "{0}".format(i)
url = 'https://itp.ne.jp/tokyo/genre_dir/beautysalon/pg/%s/' % value
url_list.append(url)
for url in url_list:
res = requests.get('%s' % url)
soup = bs4.BeautifulSoup(res.text, "html.parser")
for p in soup.find_all('section', class_='noimage'):
line = str(p)
pattern = r'[\w.-]+@[\w.-]+' mail = re.findall(pattern, line) print(mail)
#ここからCSVの出力
f = open("town.csv", "a")
writecsv = csv.writer(f, lineterminator='\n')
出力
writecsv.writerow(mail)
CSVファイルを閉じる。
f.close()
回答2件
0
スクレイピングは規約等が読めるようになってから初めてください。
投稿2019/09/25 14:44
退会済みユーザー
総合スコア0
0
スクレイピングはせめて1秒に1回するなどのサーバーの負荷軽減なども考えてはいかかでしょうか？
例えば、import timeし、time.sleep(1.0)などの工夫が必要です。
そもそも、
禁止事項
ｉタウンページでは、多くのお客様が快適にご利用できるよう、以下の行為は禁止しております。
ｉタウンページのサービスに多大な影響を与える行為
自動的にアクセスするプログラムを使用してｉタウンページに繰り返しアクセスする行為
当社の承認した以外の方法により本サービスを利用する行為
本サービスを商業目的で利用する行為
当社または第三者の著作権、商標権その他の知的財産権を侵害しまたはそのおそれのある行為
本サービスとは関係のない団体やサービス、活動にたいしての勧誘行為
不正なプログラム・スクリプトなどを用いて、サーバーに負荷を与える行為
本サービスの全部または一部を、当社に無断で、転載、転送、蓄積、販売、貸与、再許諾、出版、その他自己利用の範囲を超えて複製、複写する行為
(上記の行為を助長するプログラムの製造、販売を含む)
本ソフトウェアのリバースエンジニアリング、逆コンパイル、逆アセンブル、その他これらに準じる行為
これらの行為が発見された場合には、予告なしにｉタウンページへのアクセスを停止、損害賠償請求等必要な措置（法的措置を含みます。）を取ることができるものとします。
2番目のタウンページのサービスに多大な影響を与える行為 = スクレイピングと考えてもいいのではないのでしょうか。
まずスクレイピングする時はそのページがスクレイピングOKなのかも確認するのも大切です。
まあ僕もPython初心者なので間違っていたら指摘してください。
投稿2020/03/26 10:09
総合スコア16
あなたの回答
tips
プレビュー
バッドをするには、ログインかつ
こちらの条件を満たす必要があります。
2019/09/25 15:07 編集
退会済みユーザー
2019/09/25 21:01
2019/12/03 08:14