前提・実現したいこと
ある動的なhttpsサイトからリストを全てスクレイピングしようとしています
発生している問題・エラーメッセージ
途中まででprint()で値が表示されるのにdictが空になる
クローラーを作りたいのに1件しかデータを取りにいっていない気がする
該当のソースコード
Python
1url='https://advisors-freee.jp/advisors/search' 2from selenium import webdriver 3browser = webdriver.Chrome() 4browser.implicitly_wait(10) 5browser.get(url) 6 7assert'全国の税理士一覧|税理士検索freee'in browser.title 8 9links = browser.find_elements_by_css_selector('h3.search-ttl') 10company_name = links[0].text 11 12links[0].click() 13 14new_window = browser.window_handles[1] 15browser.switch_to_window(new_window) 16 17member = browser.find_elements_by_css_selector('div.right-box') 18#assert '認定アドバイザー' in member.find_element_by_css_selector('h2').text 19 20member_dict = {} 21member_dict[company_name] = member 22 23import requests 24from bs4 import BeautifulSoup 25 26member_list = [] 27for member_dict in member: 28 member_list.append(member) 29 30import pandas as pd 31F_dt = pd.DataFrame.from_dict(member) 32F_dt.apply( lambda x: x.str.replace(r'(new|写真|動画)','')) 33 34print(F_dt) 35
試したこと
参考にしたURLはこちらです。
https://takahiromiura.github.io/Selenium.html
補足情報(FW/ツールのバージョンなど)
VS CODEでPython3.7を使用しています
あなたの回答
tips
プレビュー