質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.46%
CSV

CSV(Comma-Separated Values)はコンマで区切られた明白なテキスト値のリストです。もしくは、そのフォーマットでひとつ以上のリストを含むファイルを指します。

Beautiful Soup

Beautiful Soupは、Pythonのライブラリの一つ。スクレイピングに特化しています。HTMLデータの構文の解析を行うために、HTMLタグ/CSSのセレクタで抽出する部分を指定することが可能です。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

pandas

Pandasは、PythonでRにおけるデータフレームに似た型を持たせることができるライブラリです。 行列計算の負担が大幅に軽減されるため、Rで行っていた集計作業をPythonでも比較的簡単に行えます。 データ構造を変更したりデータ分析したりするときにも便利です。

Q&A

1回答

2215閲覧

サイトからurlを取得してcsvファイルに保存したい

puti0621

総合スコア2

CSV

CSV(Comma-Separated Values)はコンマで区切られた明白なテキスト値のリストです。もしくは、そのフォーマットでひとつ以上のリストを含むファイルを指します。

Beautiful Soup

Beautiful Soupは、Pythonのライブラリの一つ。スクレイピングに特化しています。HTMLデータの構文の解析を行うために、HTMLタグ/CSSのセレクタで抽出する部分を指定することが可能です。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

pandas

Pandasは、PythonでRにおけるデータフレームに似た型を持たせることができるライブラリです。 行列計算の負担が大幅に軽減されるため、Rで行っていた集計作業をPythonでも比較的簡単に行えます。 データ構造を変更したりデータ分析したりするときにも便利です。

0グッド

0クリップ

投稿2021/10/24 12:58

前提・実現したいこと

サイトから必要情報をスクレいピングして、csvファイルに保存しています。
サイトからurlを取得してcsvファイルに保存する際に、取得したurlが#に置き換わってしまいます。
取得した情報をそのまま、csvファイルに保存したいです。

発生している問題・エラーメッセージ

csv

1企業名,電話番号,メールアドレス,都道府県,建物名,URL,SSL証明書 2BAGUS PLACE ―バグースプレイス― 銀座,050-5485-1075,mailto:b-place@bagus-99.com,東京都中央区銀座2-4-6,銀座Velvia館,#,False 3でですけ SAIGON KITCHEN,050-5486-7059, ,東京都中央区日本橋室町1-11-4,東京都中央区日本橋室町1-11-4, , 4和食 えん 丸の内オアゾ(oazo),050-5484-5931, ,東京都千代田区丸の内1-6-4,5F,#,False 5銀座 和食 肉割烹 宮下,050-5485-9438, ,東京都中央区銀座2-2-14,マロニエゲート12F,#,False 6菜な 日本橋 コレド室町店,050-5485-1225, ,東京都中央区日本橋室町2-2-1,コレド室町3F,#,False 7個室・炉端料理 かこいや 丸の内OAZO店,050-5485-9421, ,東京都千代田区丸の内1-6-2,新丸の内センタービル3F,#,False 8ADRIFT by David Myers,050-5487-8959, ,東京都千代田区丸の内3-2-3,二重橋スクエア1F, , 9焼肉ホルモン でですけ 銀座,050-5484-8766, ,東京都中央区銀座3-3-9,東京都中央区銀座3-3-9,#,False 10個室・炉端料理 かこいや 丸の内二丁目店,050-5484-8942, ,東京都千代田区丸の内2-5-2,三菱ビル内B1,#,False 11野乃鳥 丹波赤どり専門 とりのや本店,050-5492-0865, ,東京都千代田区大手町2-6-4,TOKYO TORCH 常磐橋タワーA棟1F, , 12個室会席 北大路 八重洲茶寮,050-5485-2671, ,東京都中央区京橋1-2-5,京橋TDビル1F,#,False 13個室会席 北大路 有楽町店 (旧:個室会席 北大路 有楽町帝劇店),050-5484-2078, ,東京都千代田区丸の内3-1-1,帝劇ビルB1,#,False 14中国料理 宝龍,050-5484-5172, ,東京都千代田区有楽町2-9-16,東京都千代田区有楽町2-9-16, , 15新宿つな八 大丸東京店,050-5484-6620, ,東京都千代田区丸の内1-9-1,大丸東京店12F,#,False 16酒場 蛍火 大手町ファーストスクエア店,050-5487-2459, ,東京都千代田区大手町1-5-1,大手町ファーストスクエアイーストタワーB1,#,False 17ティールーム ROSE(ローズ),050-5489-5591, ,東京都千代田区大手町1-7-2,東京サンケイビル2F, , 18ホテルオークラ 中国料理「桃花林」 日本橋室町賓館,050-5484-9725, ,東京都中央区日本橋室町2-4-3,YUITO日本橋室町野村ビル3F, , 19鍛冶屋 文蔵 八重洲南口店,050-5487-2423, ,東京都中央区八重洲2-4-13,住友不動産八重洲二丁目ビルB1,#,False 20酒場蛍火 東京海上日動本館店,050-5487-2433, ,東京都千代田区丸の内1-2-1,東京海上日動ビルディング本館B1,#,False 21bar a vin ROTI,050-5487-5580, ,東京都千代田区丸の内3-2-3,二重橋スクエアB1, ,

該当のソースコード

python

1import requests 2from bs4 import BeautifulSoup 3import pandas as pd 4import re 5from time import sleep 6 7 8base_url = 'https://r.gnavi.co.jp/eki/0002846/lunch/?date=20211024&fw=%E3%83%A9%E3%83%B3%E3%83%81&p={}' 9 10d_list = [] 11for i in range(1,2): 12 print('='*30,i,'='*30) 13 url = base_url.format(i) 14 sleep(3) 15 res = requests.get(url,timeout=10) 16 res.raise_for_status() 17 soup = BeautifulSoup(res.content,'lxml') 18 19 a_tags = soup.select('a.style_titleLink__3NX8v') 20 for i,a_tag in enumerate(a_tags): 21 print('='*30,i,'='*30) 22 page_url = a_tag.get('href') 23 sleep(3) 24 page_res = requests.get(page_url,timeout=30) 25 page_res.raise_for_status() 26 page_soup = BeautifulSoup(page_res.content,'lxml') 27 28 shop_name = page_soup.select_one('p#info-name').text 29 30 31 tel = page_soup.select_one('span.number').text 32 tel = re.sub('\n\t*',' ',tel) 33 address = page_soup.select_one('table.basic-table > tbody > tr:nth-of-type(3) > td > p > span:first-of-type').text 34 building = page_soup.select_one('table.basic-table > tbody > tr:nth-of-type(3) > td > p > span:last-of-type').text 35 36 web_site = page_soup.select_one('a:-soup-contains(お店のホームページ)') 37 if web_site: 38 web_site = web_site.get('href') 39 if 'https' in web_site: 40 ssl = True 41 else: 42 ssl = False 43 else: 44 web_site = ' ' 45 ssl = ' ' 46 mail = page_soup.select_one('a:-soup-contains(お店に直接メールする)') 47 if mail: 48 mail = mail.get('href') 49 else: 50 mail = ' ' 51 52 d_list.append({ 53 '企業名':shop_name, 54 '電話番号':tel, 55 'メールアドレス':mail, 56 '都道府県':address, 57 '建物名':building, 58 'URL':web_site, 59 'SSL証明書':ssl 60 }) 61 62df = pd.DataFrame(d_list) 63df.to_csv('shop_list.csv',index=None,encoding='utf-8-sig')

試したこと

csvに出力する際に、encoding='utf-8'でも試しましたが#に置き換わってしまいました。
urlを取得する際にも、テキスト一致以外で取得して試しましたが、同じく上手くいきませんでした。

補足情報(FW/ツールのバージョンなど)

解決策、原因当ご教授頂けますと幸いです。

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

guest

回答1

0

まずは、web_site をprintするなりしてその中身を確認してみては

投稿2021/10/24 13:16

y_waiwai

総合スコア87800

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

puti0621

2021/10/24 13:24

回答ありがとうございます。 最も基本的なことを忘れていました。。。 printで中身を確認した結果、取得した時からhref='#'になっていました。 検証ツールでサイトを確認するとurlが存在するのですが、何が原因なのでしょうか?
guest

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

まだベストアンサーが選ばれていません

会員登録して回答してみよう

アカウントをお持ちの方は

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.46%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問