seleniumにてスクレイピングを実行したところエラーがでる。

前提・実現したいこと

https://stellabms.xyz/s/sl/1 というサイトから表データを取得したいが、それを囲っているdivしか取得できません。

発生している問題・エラーメッセージ

    raise exception_class(message, screen, stacktrace)
selenium.common.exceptions.StaleElementReferenceException: Message: The element reference of <div class="normal-container"> is stale; either the element is no longer attached to the DOM, it is not in the current frame context, or the document has been refreshed

該当のソースコード

python
1from selenium import webdriver
2from selenium.webdriver.firefox.firefox_binary import FirefoxBinary
3
4song_id = 1 #1からどんどん加算していって存在するまで取得したい
5
6while True:
7    sl_URL = "https://stellabms.xyz/s/sl/" + str(song_id)
8    driver.get(sl_URL)
9    sl = driver.find_elements_by_tag_name("div")
10    sl_hrefs = [s.get_attribute("href") for s in sl]
11    for i in sl_hrefs:
12        print(driver.get(i))
13

試したこと

各種方法等についてQiitaやteratailなど参照しましたが問題が解決しませんでした。

補足情報（FW/ツールのバージョンなど）

Python==3.7.3

glyzinieh

2020/05/02 04:30

BeautifulSoupのアップデートをしてみてください。 https://pypi.org/project/beautifulsoup4/

k0gane

2020/05/02 04:59

追記に書いたんですけどbeautifulsoup4は最新版です

行動規範の内容に同意します

回答3件

ajaxでデータ表示してるっぽいからこういうの参考にしたら良いんじゃないですかね。
https://qiita.com/gtaiyou24/items/21d7d3b539c43e6616a6

投稿2020/05/02 05:12

gentaro

総合スコア8949

k0gane

2020/05/02 08:48

seleniumを採用したところ色々とエラーがでてしまったのでもしよろしければご教授願いたいです

gentaro

2020/05/02 09:06

それは試したことと出たエラーの詳細をちゃんと書いて質問を建ててください。

行動規範の内容に同意します

表のAタグのhref の取得例です

Python
1# サイトにアクセス
2from selenium import webdriver
3from time import sleep
4
5driver = webdriver.Chrome()
6
7song_id = 1 #1からどんどん加算していって存在するまで取得したい
8
9while True:
10    sl_URL = "https://stellabms.xyz/s/sl/" + str(song_id)
11    driver.get(sl_URL)
12    sleep(3) 
13    try:    
14        driver.find_element_by_class_name('ant-notification-notice-close').click()
15        sleep(3) 
16    
17        driver.execute_script("let xpath = '//*[contains(text(), \"OK\")]';var nodesSnapshot = document.evaluate(xpath,document,null,XPathResult.ORDERED_NODE_SNAPSHOT_TYPE,null);nodesSnapshot.snapshotItem(0).click();")
18        sleep(3) 
19    except:
20        pass
21
22    sl = driver.find_elements_by_class_name("normal-table")[0]
23    sl_hrefs = [s.get_attribute("href") for s in sl.find_elements_by_tag_name('a')]
24    s2_hrefs = []
25    for i in sl_hrefs:
26        if  i  is not None:
27           s2_hrefs.append(i)
28    for i in s2_hrefs:
29        print(i)
30        #driver.get(i)
31
32    song_id += 1

投稿2020/05/23 12:36

編集2020/05/23 12:41

Reach

総合スコア733

当方の環境では、r.dataは

HTML
1<！--一部省略-->
2<body><noscript>You need to enable JavaScript to run this app.</noscript>
3		<div id="root"></div>
4		<script>
5                <！--省略-->
6		</script>
7		<script src="./static/js/2.faba7e4a.chunk.js"></script>
8		<script src="./static/js/main.f2d8bba6.chunk.js"></script>
9</body>