dataframeのcsv出力について

Question

前提・実現したいこと

Pythonでサイトからのスクレイピングにチャレンジしています。

発生している問題・エラーメッセージ

pandasでdataframeを作成して、csvファイルに出力する際に勝手に改行されて、左側にスペースが空いてしまいます。

企業名,電話番号,メールアドレス,都道府県,市町村区,番地,URL,SSL証明書
"
					金太楼鮨　浅草中央店",050-5281-5483, ,	東京都,台東区,浅草１‐１７‐１２,https://kintarou.owst.jp/,True
"
					祭ずし　大森店",050-5449-9694, ,	東京都,大田区,大森北１‐２‐８,https://matsuriomori.owst.jp,True
"
					幸寿司",050-5831-5284, ,	東京都,練馬区,練馬１‐２０‐２　ＴＫＧビル１Ｆ, ,False
"
					時代寿司",03-3261-6550, ,	東京都,千代田区,飯田橋１‐７‐５, ,False
"
					紀文寿司",050-5257-4691, ,	東京都,台東区,浅草１－17-10, ,False
"
					寿司作",03-3758-4144, ,	東京都,大田区,西嶺町９‐６　久が原台スカイマンション１F,http://www.facebook.com/#!/fumio.sugino?fref=ts,False
"
					新楽寿司",050-5257-2095, ,	東京都,港区,新橋３-21-2タカラビル2F, ,False
"
					寿司貞",03-3241-6000, ,	東京都,中央区,日本橋室町１-8-4, ,False
"
					いろは寿司",042-722-3850, ,	東京都,町田市,原町田６-10-17, ,False
"
					栄寿司",03-3420-1371, ,	東京都,世田谷区,世田谷１‐２４‐３,http://home.u01.itscom.net/susi/,False
"
					柳寿司",050-5257-8121, ,	東京都,豊島区,西池袋１-18-1　五光ビル1、2、3階,http://yanagizusi.owst.jp,False
"
					桜寿司",050-5861-7134, ,	東京都,江戸川区,中葛西３-37-12, ,False
"
					健寿司",03-3731-3411, ,	東京都,大田区,蒲田５-19-3, ,False
"
					太助寿司",050-5281-7108, ,	東京都,台東区,松が谷２-26-6,http://tasuke-sushi.com/,False
"
					菊寿司",050-5355-1761, ,	東京都,中央区,日本橋兜町17-1,http://www.kiku-sushi.com/,False
"
					金井寿司",050-5265-0390, ,	東京都,品川区,東大井５-3-5, ,False
"
					寿司の磯松",03-6712-0343, ,	東京都,港区,港南２-3-13　品川フロントビル2F, ,False
"
					司寿司",03-3688-2156, ,	東京都,江戸川区,中葛西３-30-11,http://syokunin.jp/tsukasazushi/,False
"
					吉亀寿司",03-3351-0614, ,	東京都,新宿区,富久町16-5,http://yoshikame.com/,False
"
					剣寿司",050-5815-5725, ,	東京都,足立区,入谷４－１０－２４,http://www.kenzushi.net/,False
"
					寿司義",050-5265-8408, ,	東京都,八王子市,大和田町２－１７－７, ,False
"
					寿司銀",050-5257-0626, ,	東京都,武蔵野市,吉祥寺南町４-3-13　井の頭サマリヤマンション１F,https://sushigin.owst.jp,True

該当のソースコード

from types import new_class
import requests
from bs4 import BeautifulSoup
import pandas as pd
from time import sleep
import re

base_url = 'https://www.hotpepper.jp/SA11/fwt%E5%AF%BF%E5%8F%B8/bgn{}/'

#base_urlを使って、トップページから順番にアクセス
d_list = []
#1～2ページにアクセス
for i in range(1,2):
    print('='*30,i,'='*30)
    url = base_url.format(i)
    sleep(3)
    res = requests.get(url,timeout=3)
    soup = BeautifulSoup(res.content,'lxml')
#企業の詳細ページにアクセス
    a_tags = soup.select('h3.shopDetailStoreName > a')
    for a_tag in a_tags:
        page_url = 'https://www.hotpepper.jp/' + a_tag.get('href')
        sleep(3)
        page_res = requests.get(page_url,timeout=3)
        page_soup = BeautifulSoup(page_res.content,'lxml')
#格リストの情報を抽出
        shop_name = page_soup.select_one('div.shopInner > div > table > tbody > tr > td').text
        tel = page_soup.select_one('div.qualificationArea > div > span').text
        mail = ' '
        address = page_soup.select_one('table.infoTable > tbody > tr:nth-of-type(2) > td > address').text
        if address:
            pat = '(...??[都道府県])((?:旭川|伊達|石狩|盛岡|奥州|田村|南相馬|那須塩原|東村山|武蔵村山|羽村|十日町|上越|富山|野々市|大町|蒲郡|四日市|姫路|大和郡山|廿日市|下>松|岩国|田川|大村|宮古|富良野|別府|佐伯|黒部|小諸|塩尻|玉野|周南)市|(?:余市|高市|[^市]{2,3}?)郡(?:玉村|大町|.{1,5}?)[町村]|(?:.{1,4}市)?[^町]{1,4}?区|.{1,7}?[市町村])(.+)'

            address_list = re.split(pat,address)
            pref = address_list[1]
            city = address_list[2]
            number_builing = address_list[3]
            

        else:
            pref = ' '
            city = ' '
            number = ' '
            building = ' '
        web_site = page_soup.select_one('div.shopInfoDetail > ul > li > a')
        if web_site:
            web_site = web_site.get('href')
        else:
            web_site = ' '
        if web_site:
            if 'https' in web_site:
                ssl = True
            else:
                ssl = False
        
        d_list.append({
            '企業名':shop_name,
            '電話番号':tel,
            'メールアドレス':mail,
            '都道府県':pref,
            '市町村区':city,
            '番地':number,
            'URL':web_site,
            'SSL証明書':ssl
        })
#dataframe作成
df = pd.DataFrame(d_list)
df.to_csv('shop_list.csv',index=None,encoding='utf-8-sig')

補足情報（FW/ツールのバージョンなど）

解決策等ご教授頂けますと幸いです。

Answer 1

shop_nameの前半に''\n\t\t\t\t\t'が入っているためです。
元々のhtmlがそうだったのでしょう。

        shop_name = page_soup.select_one('div.shopInner > div > table > tbody > tr > td').text

に以下のように一行追加して、再度実行してみてください。

        shop_name = page_soup.select_one('div.shopInner > div > table > tbody > tr > td').text
        shop_name = re.sub('\n\t*', '', shop_name)

Comments

[puti0621]

ご丁寧な回答ありがとうございます。
ご提示頂いたコードに変更したところ、左側の余分なスペースは削除する事が出来ました！