nyanpoo score 12
2019/05/22 15:44 投稿
| python seleniumで |
| python seleniumでクローラーを作成したいがdictの中身が空になる |
| ### 前提・実現したいこと |
| ある動的なhttpsサイトから |
| ある動的なhttpsサイトからリストを全てスクレイピングしようとしています |
| ### 発生している問題・エラーメッセージ |
| Unknown policy: DnsPrefetchingEnabled |
| 途中まででprint()で値が表示されるのにdictが空になる |
| クローラーを作りたいのに1件しかデータを取りにいっていない気がする |
| ### 該当のソースコード |
| ```Python |
| url=' |
| url='https://advisors-freee.jp/advisors/search' |
| from selenium import webdriver |
| browser = webdriver.Chrome() |
| browser.implicitly_wait(10) |
| browser.get(url) |
| browser.get(url) |
| assert'全国の税理士一覧｜税理士検索freee'in browser.title |
| links = browser.find_elements_by_css_selector('h3.search-ttl') |
| company_name = links[0].text |
| links[0].click() |
| new_window = browser.window_handles[1] |
| browser.switch_to_window(new_window) |
| member = browser.find_elements_by_css_selector('div.right-box') |
| #assert '認定アドバイザー' in member.find_element_by_css_selector('h2').text |
| member_dict = {} |
| member_dict[company_name] = member |
| import requests |
| from bs4 import BeautifulSoup |
| member_list = [] |
| for member_dict in member: |
| member_list.append(member) |
| import pandas as pd |
| F_dt = pd.DataFrame.from_dict(member) |
| F_dt.apply( lambda x: x.str.replace(r'(new|写真|動画)','')) |
| print(F_dt) |
| ``` |
| ### 試したこと |
| このプログラムが紹介されている参照先のHttpで施行したところ |
| 問題なくurlの内容を取得できました。 |
| url = 'https://disclosure.edinet-fsa.go.jp/E01EW/BLMainController.jsp?uji.verb=W1E63031Search&uji.bean=ee.bean.W1E63030.EEW1E63031Bean&PID=W1E63030&TID=W1E63031&SESSIONKEY=1505008790454&stype=0&dcdSelect=12001&hcdSelect=01001&ycdSelect=03001400&tsbSdt=&kbn=1&lgKbn=2&pkbn=0&skbn=1&dskb=&askb=&dflg=0&iflg=0&preId=1&chr=%E6%B2%BF%E9%9D%A9&hbn=true&spf5=2&otd=12001&hcd=01001&ycd=03001400&sec=&scc=&snm=&spf1=1&spf2=1&iec=&icc=&inm=&spf3=1&fdc=&fnm=&spf4=1&cal=1&era=H&yer=&mon=&psr=1&pid=4' |
| 参考にしたURLはこちらです。 |
| https://takahiromiura.github.io/Selenium.html |
| ### 補足情報（FW/ツールのバージョンなど） |
| VS CODEでPython3.7を使用しています |
