前提・実現したいこと
エラーを解消したい。
発生している問題・エラーメッセージ
プログラムを実行した所、下記のエラーが出てしまう。
Traceback (most recent call last): File "test.py", line 73, in <module> browser.get(btn) File "/Users/私のPCの名前/.pyenv/versions/3.7.5/lib/python3.7/site-packages/selenium/webdriver/remote/webdriver.py", line 333, in get self.execute(Command.GET, {'url': url}) File "/Users/私のPCの名前/.pyenv/versions/3.7.5/lib/python3.7/site-packages/selenium/webdriver/remote/webdriver.py", line 321, in execute self.error_handler.check_response(response) File "/Users/私のPCの名前/.pyenv/versions/3.7.5/lib/python3.7/site-packages/selenium/webdriver/remote/errorhandler.py", line 242, in check_response raise exception_class(message, screen, stacktrace) selenium.common.exceptions.InvalidArgumentException: Message: invalid argument: 'url' must be a string (Session info: chrome=85.0.4183.59)
該当のソースコード
import sys import os from selenium import webdriver import pandas import time import chromedriver_binary browser = webdriver.Chrome() #1 args = sys.argv df = pandas.read_csv('default.csv', index_col=0) #3 browser.get("https://coconala.com/categories/8") #4 page = 1 #5 while True: #continue until getting the last page #5-1 if len(browser.find_elements_by_css_selector("h3")) > 0: print("######################page: {} ########################".format(page)) print("Starting to get posts...") #5-1-2 time.sleep(5) posts = browser.find_elements_by_css_selector(".listContentBox") #ページ内のタイトル複数 print (len(posts)) #5-1-3 for post in posts: try: title = post.find_element_by_css_selector("a.js-service-view-tracker").text print(title) detail = post.find_element_by_css_selector("h3").text print(detail) #5-1-3-1 price = post.find_element_by_css_selector("strong.red").text print(price) #5-1-3-2 liked = post.find_element_by_css_selector("span.overlay").text print(liked) url = post.find_element_by_css_selector("a.js-service-view-tracker").get_attribute("href") se = pandas.Series([title,detail, price, liked,url],['title', 'detail','price','liked','url']) df = df.append(se, ignore_index=True) except: print("Error:Advertisement appeared.Skipping...") #5-1-4 page+=1 btn = browser.find_element_by_css_selector("h3").get_attribute("href") print("next url:{}".format(btn)) browser.get(btn) print("Moving to next page......") #5-2 else: print("no pager exist anymore") break #6 print("Finished Scraping. Writing CSV.......") df.to_csv("output.csv") print("DONE")
試したこと
エラー文章を検索しましたが、参考になりそうな文献が出てきませんでした。。
補足情報(FW/ツールのバージョンなど)
Mac
python 3.7.5