質問編集履歴

1 タイトル、ソースコードを追加

nyanpoo

nyanpoo score 12

2019/05/22 15:44  投稿

python seleniumでChromeを動かすとUnknown policy:と表示され
python seleniumでクローラーを作成したいがdictの中身が空にな
### 前提・実現したいこと
ある動的なhttpsサイトから店舗リストを全てスクレイピングしようとしています
ある動的なhttpsサイトからリストを全てスクレイピングしようとしています
### 発生している問題・エラーメッセージ
Unknown policy: DnsPrefetchingEnabled
途中まででprint()で値が表示されるのにdictが空になる
クローラーを作りたいのに1件しかデータを取りにいっていない気がする
### 該当のソースコード
```Python
url='とりたいURL'
url='https://advisors-freee.jp/advisors/search'
from selenium import webdriver
 
browser = webdriver.Chrome()
browser.implicitly_wait(10)
browser.get(url)  
browser.get(url)
assert'全国の税理士一覧|税理士検索freee'in browser.title
links = browser.find_elements_by_css_selector('h3.search-ttl')
company_name = links[0].text
links[0].click()
new_window = browser.window_handles[1]
browser.switch_to_window(new_window)
member = browser.find_elements_by_css_selector('div.right-box')
#assert '認定アドバイザー' in member.find_element_by_css_selector('h2').text
member_dict = {}
member_dict[company_name] = member
import requests
from bs4 import BeautifulSoup
member_list = []
for member_dict in member:
   member_list.append(member)
import pandas as pd
F_dt = pd.DataFrame.from_dict(member)
F_dt.apply( lambda x: x.str.replace(r'(new|写真|動画)',''))
print(F_dt)
```
### 試したこと
このプログラムが紹介されている参照先のHttpで施行したところ
問題なくurlの内容を取得できました。
url = 'https://disclosure.edinet-fsa.go.jp/E01EW/BLMainController.jsp?uji.verb=W1E63031Search&uji.bean=ee.bean.W1E63030.EEW1E63031Bean&PID=W1E63030&TID=W1E63031&SESSIONKEY=1505008790454&stype=0&dcdSelect=12001&hcdSelect=01001&ycdSelect=03001400&tsbSdt=&kbn=1&lgKbn=2&pkbn=0&skbn=1&dskb=&askb=&dflg=0&iflg=0&preId=1&chr=%E6%B2%BF%E9%9D%A9&hbn=true&spf5=2&otd=12001&hcd=01001&ycd=03001400&sec=&scc=&snm=&spf1=1&spf2=1&iec=&icc=&inm=&spf3=1&fdc=&fnm=&spf4=1&cal=1&era=H&yer=&mon=&psr=1&pid=4'
参考にしたURLはこちらです。
https://takahiromiura.github.io/Selenium.html
### 補足情報(FW/ツールのバージョンなど)
VS CODEでPython3.7を使用しています
  • Python

    27113 questions

    Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

  • スクレイピング

    1224 questions

    スクレイピングとは、公開されているWebサイトからページ内の情報を抽出する技術です。

思考するエンジニアのためのQ&Aサイト「teratail」について詳しく知る