質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.48%
スクレイピング

スクレイピングとは、公開されているWebサイトからページ内の情報を抽出する技術です。

Python 3.x

Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

selenium

Selenium(セレニウム)は、ブラウザをプログラムで作動させるフレームワークです。この原理を使うことにより、ブラウザのユーザーテストなどを自動化にすることができます。

Q&A

1回答

4426閲覧

Pythonでinvalid argument: 'url' must be a stringとエラーがでる

yuu__ki

総合スコア1

スクレイピング

スクレイピングとは、公開されているWebサイトからページ内の情報を抽出する技術です。

Python 3.x

Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

selenium

Selenium(セレニウム)は、ブラウザをプログラムで作動させるフレームワークです。この原理を使うことにより、ブラウザのユーザーテストなどを自動化にすることができます。

0グッド

0クリップ

投稿2020/08/06 08:01

前提・実現したいこと

エラーを解消したい。

発生している問題・エラーメッセージ

プログラムを実行した所、下記のエラーが出てしまう。

Traceback (most recent call last): File "test.py", line 73, in <module> browser.get(btn) File "/Users/私のPCの名前/.pyenv/versions/3.7.5/lib/python3.7/site-packages/selenium/webdriver/remote/webdriver.py", line 333, in get self.execute(Command.GET, {'url': url}) File "/Users/私のPCの名前/.pyenv/versions/3.7.5/lib/python3.7/site-packages/selenium/webdriver/remote/webdriver.py", line 321, in execute self.error_handler.check_response(response) File "/Users/私のPCの名前/.pyenv/versions/3.7.5/lib/python3.7/site-packages/selenium/webdriver/remote/errorhandler.py", line 242, in check_response raise exception_class(message, screen, stacktrace) selenium.common.exceptions.InvalidArgumentException: Message: invalid argument: 'url' must be a string (Session info: chrome=85.0.4183.59)

該当のソースコード

import sys import os from selenium import webdriver import pandas import time import chromedriver_binary browser = webdriver.Chrome() #1 args = sys.argv df = pandas.read_csv('default.csv', index_col=0) #3 browser.get("https://coconala.com/categories/8") #4 page = 1 #5 while True: #continue until getting the last page #5-1 if len(browser.find_elements_by_css_selector("h3")) > 0: print("######################page: {} ########################".format(page)) print("Starting to get posts...") #5-1-2 time.sleep(5) posts = browser.find_elements_by_css_selector(".listContentBox") #ページ内のタイトル複数 print (len(posts)) #5-1-3 for post in posts: try: title = post.find_element_by_css_selector("a.js-service-view-tracker").text print(title) detail = post.find_element_by_css_selector("h3").text print(detail) #5-1-3-1 price = post.find_element_by_css_selector("strong.red").text print(price) #5-1-3-2 liked = post.find_element_by_css_selector("span.overlay").text print(liked) url = post.find_element_by_css_selector("a.js-service-view-tracker").get_attribute("href") se = pandas.Series([title,detail, price, liked,url],['title', 'detail','price','liked','url']) df = df.append(se, ignore_index=True) except: print("Error:Advertisement appeared.Skipping...") #5-1-4 page+=1 btn = browser.find_element_by_css_selector("h3").get_attribute("href") print("next url:{}".format(btn)) browser.get(btn) print("Moving to next page......") #5-2 else: print("no pager exist anymore") break #6 print("Finished Scraping. Writing CSV.......") df.to_csv("output.csv") print("DONE")

試したこと

エラー文章を検索しましたが、参考になりそうな文献が出てきませんでした。。

補足情報(FW/ツールのバージョンなど)

Mac
python 3.7.5

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

shirai

2020/08/06 15:23 編集

btn = browser.find_element_by_css_selector("h3").get_attribute("href") とありますが、h3タグにhref属性が付いているのでしょうか。
can110

2020/08/09 02:33

print("next url:{}".format(btn))の出力結果を提示ください。 また、それは意図したものになっていますか?
guest

回答1

0

データ型がstringじゃない可能性が高いです。

ちゃんとデータを抜き出せているのか出力してチェックして、抜き出せていた場合データ型を調べるといいと思います。

投稿2020/08/09 13:12

shunki1023

総合スコア22

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

まだベストアンサーが選ばれていません

会員登録して回答してみよう

アカウントをお持ちの方は

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.48%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問