前提・実現したいこと
サイトから必要情報をスクレいピングして、csvファイルに保存しています。
サイトからurlを取得してcsvファイルに保存する際に、取得したurlが#に置き換わってしまいます。
取得した情報をそのまま、csvファイルに保存したいです。
発生している問題・エラーメッセージ
csv
1企業名,電話番号,メールアドレス,都道府県,建物名,URL,SSL証明書 2BAGUS PLACE ―バグースプレイス― 銀座,050-5485-1075,mailto:b-place@bagus-99.com,東京都中央区銀座2-4-6,銀座Velvia館,#,False 3でですけ SAIGON KITCHEN,050-5486-7059, ,東京都中央区日本橋室町1-11-4,東京都中央区日本橋室町1-11-4, , 4和食 えん 丸の内オアゾ(oazo),050-5484-5931, ,東京都千代田区丸の内1-6-4,5F,#,False 5銀座 和食 肉割烹 宮下,050-5485-9438, ,東京都中央区銀座2-2-14,マロニエゲート12F,#,False 6菜な 日本橋 コレド室町店,050-5485-1225, ,東京都中央区日本橋室町2-2-1,コレド室町3F,#,False 7個室・炉端料理 かこいや 丸の内OAZO店,050-5485-9421, ,東京都千代田区丸の内1-6-2,新丸の内センタービル3F,#,False 8ADRIFT by David Myers,050-5487-8959, ,東京都千代田区丸の内3-2-3,二重橋スクエア1F, , 9焼肉ホルモン でですけ 銀座,050-5484-8766, ,東京都中央区銀座3-3-9,東京都中央区銀座3-3-9,#,False 10個室・炉端料理 かこいや 丸の内二丁目店,050-5484-8942, ,東京都千代田区丸の内2-5-2,三菱ビル内B1,#,False 11野乃鳥 丹波赤どり専門 とりのや本店,050-5492-0865, ,東京都千代田区大手町2-6-4,TOKYO TORCH 常磐橋タワーA棟1F, , 12個室会席 北大路 八重洲茶寮,050-5485-2671, ,東京都中央区京橋1-2-5,京橋TDビル1F,#,False 13個室会席 北大路 有楽町店 (旧:個室会席 北大路 有楽町帝劇店),050-5484-2078, ,東京都千代田区丸の内3-1-1,帝劇ビルB1,#,False 14中国料理 宝龍,050-5484-5172, ,東京都千代田区有楽町2-9-16,東京都千代田区有楽町2-9-16, , 15新宿つな八 大丸東京店,050-5484-6620, ,東京都千代田区丸の内1-9-1,大丸東京店12F,#,False 16酒場 蛍火 大手町ファーストスクエア店,050-5487-2459, ,東京都千代田区大手町1-5-1,大手町ファーストスクエアイーストタワーB1,#,False 17ティールーム ROSE(ローズ),050-5489-5591, ,東京都千代田区大手町1-7-2,東京サンケイビル2F, , 18ホテルオークラ 中国料理「桃花林」 日本橋室町賓館,050-5484-9725, ,東京都中央区日本橋室町2-4-3,YUITO日本橋室町野村ビル3F, , 19鍛冶屋 文蔵 八重洲南口店,050-5487-2423, ,東京都中央区八重洲2-4-13,住友不動産八重洲二丁目ビルB1,#,False 20酒場蛍火 東京海上日動本館店,050-5487-2433, ,東京都千代田区丸の内1-2-1,東京海上日動ビルディング本館B1,#,False 21bar a vin ROTI,050-5487-5580, ,東京都千代田区丸の内3-2-3,二重橋スクエアB1, ,
該当のソースコード
python
1import requests 2from bs4 import BeautifulSoup 3import pandas as pd 4import re 5from time import sleep 6 7 8base_url = 'https://r.gnavi.co.jp/eki/0002846/lunch/?date=20211024&fw=%E3%83%A9%E3%83%B3%E3%83%81&p={}' 9 10d_list = [] 11for i in range(1,2): 12 print('='*30,i,'='*30) 13 url = base_url.format(i) 14 sleep(3) 15 res = requests.get(url,timeout=10) 16 res.raise_for_status() 17 soup = BeautifulSoup(res.content,'lxml') 18 19 a_tags = soup.select('a.style_titleLink__3NX8v') 20 for i,a_tag in enumerate(a_tags): 21 print('='*30,i,'='*30) 22 page_url = a_tag.get('href') 23 sleep(3) 24 page_res = requests.get(page_url,timeout=30) 25 page_res.raise_for_status() 26 page_soup = BeautifulSoup(page_res.content,'lxml') 27 28 shop_name = page_soup.select_one('p#info-name').text 29 30 31 tel = page_soup.select_one('span.number').text 32 tel = re.sub('\n\t*',' ',tel) 33 address = page_soup.select_one('table.basic-table > tbody > tr:nth-of-type(3) > td > p > span:first-of-type').text 34 building = page_soup.select_one('table.basic-table > tbody > tr:nth-of-type(3) > td > p > span:last-of-type').text 35 36 web_site = page_soup.select_one('a:-soup-contains(お店のホームページ)') 37 if web_site: 38 web_site = web_site.get('href') 39 if 'https' in web_site: 40 ssl = True 41 else: 42 ssl = False 43 else: 44 web_site = ' ' 45 ssl = ' ' 46 mail = page_soup.select_one('a:-soup-contains(お店に直接メールする)') 47 if mail: 48 mail = mail.get('href') 49 else: 50 mail = ' ' 51 52 d_list.append({ 53 '企業名':shop_name, 54 '電話番号':tel, 55 'メールアドレス':mail, 56 '都道府県':address, 57 '建物名':building, 58 'URL':web_site, 59 'SSL証明書':ssl 60 }) 61 62df = pd.DataFrame(d_list) 63df.to_csv('shop_list.csv',index=None,encoding='utf-8-sig')
試したこと
csvに出力する際に、encoding='utf-8'でも試しましたが#に置き換わってしまいました。
urlを取得する際にも、テキスト一致以外で取得して試しましたが、同じく上手くいきませんでした。
補足情報(FW/ツールのバージョンなど)
解決策、原因当ご教授頂けますと幸いです。
バッドをするには、ログインかつ
こちらの条件を満たす必要があります。
2021/10/24 13:24
2021/10/24 13:56