質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

ただいまの
回答率

88.59%

Pythonでinvalid argument: 'url' must be a stringとエラーがでる

受付中

回答 1

投稿

  • 評価
  • クリップ 0
  • VIEW 299

yuu__ki

score 1

前提・実現したいこと

エラーを解消したい。

発生している問題・エラーメッセージ

プログラムを実行した所、下記のエラーが出てしまう。

Traceback (most recent call last):
  File "test.py", line 73, in <module>
    browser.get(btn)
  File "/Users/私のPCの名前/.pyenv/versions/3.7.5/lib/python3.7/site-packages/selenium/webdriver/remote/webdriver.py", line 333, in get
    self.execute(Command.GET, {'url': url})
  File "/Users/私のPCの名前/.pyenv/versions/3.7.5/lib/python3.7/site-packages/selenium/webdriver/remote/webdriver.py", line 321, in execute
    self.error_handler.check_response(response)
  File "/Users/私のPCの名前/.pyenv/versions/3.7.5/lib/python3.7/site-packages/selenium/webdriver/remote/errorhandler.py", line 242, in check_response
    raise exception_class(message, screen, stacktrace)
selenium.common.exceptions.InvalidArgumentException: Message: invalid argument: 'url' must be a string
  (Session info: chrome=85.0.4183.59)

該当のソースコード

import sys
import os
from selenium import webdriver
import pandas
import time
import chromedriver_binary

browser = webdriver.Chrome()

#1

args = sys.argv
df = pandas.read_csv('default.csv', index_col=0)

#3

browser.get("https://coconala.com/categories/8")

#4

page = 1

#5

while True: #continue until getting the last page

    #5-1

    if len(browser.find_elements_by_css_selector("h3")) > 0:
        print("######################page: {} ########################".format(page))
        print("Starting to get posts...")

        #5-1-2

        time.sleep(5)

        posts = browser.find_elements_by_css_selector(".listContentBox") #ページ内のタイトル複数
        print (len(posts))

        #5-1-3

        for post in posts:

            try:

                title = post.find_element_by_css_selector("a.js-service-view-tracker").text
                print(title)

                detail = post.find_element_by_css_selector("h3").text
                print(detail)

                #5-1-3-1

                price = post.find_element_by_css_selector("strong.red").text
                print(price)
                #5-1-3-2

                liked = post.find_element_by_css_selector("span.overlay").text
                print(liked)

                url = post.find_element_by_css_selector("a.js-service-view-tracker").get_attribute("href")
                se = pandas.Series([title,detail, price, liked,url],['title', 'detail','price','liked','url'])
                df = df.append(se, ignore_index=True)
            except:
                print("Error:Advertisement appeared.Skipping...")

        #5-1-4

        page+=1

        btn = browser.find_element_by_css_selector("h3").get_attribute("href")
        print("next url:{}".format(btn))
        browser.get(btn)
        print("Moving to next page......")

    #5-2

    else:
        print("no pager exist anymore")
        break
#6
print("Finished Scraping. Writing CSV.......")
df.to_csv("output.csv")
print("DONE")

試したこと

エラー文章を検索しましたが、参考になりそうな文献が出てきませんでした。。

補足情報(FW/ツールのバージョンなど)

Mac 
python 3.7.5

  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 過去に投稿した質問と同じ内容の質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

質問への追記・修正、ベストアンサー選択の依頼

  • shirai

    2020/08/07 00:22 編集

    btn = browser.find_element_by_css_selector("h3").get_attribute("href")

    とありますが、h3タグにhref属性が付いているのでしょうか。

    キャンセル

  • can110

    2020/08/09 11:33

    print("next url:{}".format(btn))の出力結果を提示ください。
    また、それは意図したものになっていますか?

    キャンセル

回答 1

0

データ型がstringじゃない可能性が高いです。

ちゃんとデータを抜き出せているのか出力してチェックして、抜き出せていた場合データ型を調べるといいと思います。

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

15分調べてもわからないことは、teratailで質問しよう!

  • ただいまの回答率 88.59%
  • 質問をまとめることで、思考を整理して素早く解決
  • テンプレート機能で、簡単に質問をまとめられる

関連した質問

同じタグがついた質問を見る