seleniumを使ってJSを用いたサイトをスクレイピングしたいのですが、
「(1)画像=>img srcを取得=>右クリックして次へ=>(2)画像=>img srcを取得=>右クリックして次へ=>...=>(n)画像=>img srcを取得=>右クリックして次へ」というコードを書きました。
chromeブラウザでしっかり画面推移してくれているのも確認しましたが、img srcで取得できる値がずっと、「(1)画像=>img srcを取得=>右クリックして次へ」の一番最初の画像だけなのです。
最終的にn枚の(1)画像のimg srcが保存されているだけなのです。
seleniumでは、画面推移して、HTMLが変更されると、そこのHTMLをもう一度解釈してそこから値を取得してくれると思っていましたが違うでしょうか?
import sys import time from selenium import webdriver def main(): driver = webdriver.Chrome() driver.set_window_size(800, 600) # ウィンドウサイズを設定する。 navigate(driver) scrape_posts(driver) images = scrape_posts(driver) # 文章コンテンツのリストを取得する。 # # # コンテンツの情報を表示する。 for image in images: print(image) def navigate(driver): print('Navigating...', file=sys.stderr) driver.get('https://www.hoge.com') time.sleep(2) # 2秒間待つ。 def scrape_posts(driver): driver.find_element_by_css_selector('div._9AhH0').click() i = 0 images = [] while i < 5: images.append({ 'image': driver.find_element_by_css_selector('img.FFVAD').get_attribute("src") # 画像取得, }) time.sleep(3) i += 1 driver.find_element_by_css_selector('a.coreSpriteRightPaginationArrow').click()#次の投稿へ time.sleep(3) return images if __name__ == '__main__': main()
出力は以下のように同じ画像だけです。。
https://hoge/9163008_n.jpg https://hoge/9163008_n.jpg https://hoge/9163008_n.jpg https://hoge/9163008_n.jpg https://hoge/9163008_n.jpg
バッドをするには、ログインかつ
こちらの条件を満たす必要があります。