質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.50%
スクレイピング

スクレイピングとは、公開されているWebサイトからページ内の情報を抽出する技術です。

Chrome

Google Chromeは携帯、テレビ、デスクトップなどの様々なプラットフォームで利用できるウェブブラウザです。Googleが開発したもので、Blink (レンダリングエンジン) とアプリケーションフレームワークを使用しています。

URL

URL(ユニフォームリソースロケータ)とは、インターネット上のリソース(Webページや電子メールの宛先等)を特定するための形式的な記号の並びの事を言う。

Webサイト

一つのドメイン上に存在するWebページの集合体をWebサイトと呼びます。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

Q&A

解決済

2回答

3827閲覧

Python超超初心者です。seleniumでWebサイトのクリックボタンが押せない。

pythonbegginer

総合スコア25

スクレイピング

スクレイピングとは、公開されているWebサイトからページ内の情報を抽出する技術です。

Chrome

Google Chromeは携帯、テレビ、デスクトップなどの様々なプラットフォームで利用できるウェブブラウザです。Googleが開発したもので、Blink (レンダリングエンジン) とアプリケーションフレームワークを使用しています。

URL

URL(ユニフォームリソースロケータ)とは、インターネット上のリソース(Webページや電子メールの宛先等)を特定するための形式的な記号の並びの事を言う。

Webサイト

一つのドメイン上に存在するWebページの集合体をWebサイトと呼びます。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

0グッド

0クリップ

投稿2020/03/19 04:00

前提・実現したいこと

Pythonを初めてまだ数日の初心者です。プログラミングも勉強を始めたばかりです。最終的にWEBスクレイピングができるようになりたいと思っています。

手始めに食べログの情報を集めたいと思いやっているのですが、
さっそくつまづいているので教えて下さい。

やりたいこととして、食べログのホームページからエリアとジャンルを検索して、ランキング順に並び替え、上位20店舗の店舗名とTOP写真、URLをエクセルに抽出したいと思っています。

Windows10のコマンドプロンプトから実行しています。

発生している問題

エリアとジャンルを指定して

以下のコードを実行してページを開くところまではできたのですが、
ランキングのボタンの押し方がわかりません。

エラーメッセージ

elem_rank = driver.find_element_by_classname("navi-rstlst__text navi-rstlst__text--rank")

Traceback (most recent call last):
File "<stdin>", line 1, in <module>
AttributeError: 'WebDriver' object has no attribute 'find_element_by_classname'

elem_rank.click()[10876:11016:0319/125745.537:ERROR:ssl_client_socket_impl.cc(941)] handshake failed; returned -1, SSL error code 1, net_error -101

該当のソースコード(使用しているコード)

from selenium import webdriver

driver = webdriver.Chrome("c:/driver/chromedriver.exe")
driver.get("https://www.tabelog.com")

elem_search_word = driver.find_element_by_name("sa")
elem_search_word.send_keys("新橋")

elem_search_word2 = driver.find_element_by_name("sk")
elem_search_word2.send_keys("居酒屋")

elem_search_word2.submit()

elem_rank = driver.find_element_by_classname("navi-rstlst__text navi-rstlst__text--rank")
elem_rank.click()

試したこと

補足情報(FW/ツールのバージョンなど)

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

guest

回答2

0

自己解決

ページの読み込みができてないうちにクリックができていなかったようです。
import timeを学び以下のコードでランキングまでなんとかボタンを押せました。

import time

from selenium import webdriver

driver = webdriver.Chrome()
driver.get("https://www.tabelog.com")

elem_search_word = driver.find_element_by_name("sa")
elem_search_word.send_keys("新橋")

elem_search_word2 = driver.find_element_by_name("sk")
elem_search_word2.send_keys("居酒屋")

elem_search_word2.submit()

time.sleep(10)

elem_rank = driver.find_element_by_class_name("navi-rstlst__label--rank")
elem_rank.click()

投稿2020/03/23 07:00

pythonbegginer

総合スコア25

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

takeaship

2020/03/23 10:44 編集

その方法はおすすめしないです。 早く読み込めたときもわざわざ10秒待つことになります。 また、読み込みに時間がかかる場所で毎回time.sleepを書くのはスマートではないです。 seleniumには、要素が見つからないときは読み込まれるまで待つ機能があるのでそちらを利用してみてください。 TIMEOUT = 10 driver.implicitly_wait(TIMEOUT) を、driver = webdriver.Chrome() の直後に追加してみてください。 要素が読み込まれるまで、最大でTIMEOUTで指定した秒数待ってくれます。
guest

0

find_element_by_classname ではなく、 find_element_by_class_name です。
また、classの指定も間違ってます。classは一つしか指定できません。

以下のコードで無事クリックできました。

selenium.py

1elem_rank = driver.find_element_by_class_name("navi-rstlst__label--rank") 2elem_rank.click()

投稿2020/03/19 05:04

takeaship

総合スコア129

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

pythonbegginer

2020/03/19 05:28

早速の回答ありがとうございます^^ 教えていただいたコードを元に1番下に記載のコードに書き換えてやってみたのですが、 ここの部分で elem_rank = driver.find_element_by_class_name("navi-rstlst__label--rank") エラー?がでてしまいクリックが押せません。 間違っている箇所もわからず。。。教えていただけると嬉しいです。 from selenium import webdriver driver = webdriver.Chrome("c:/driver/chromedriver.exe") driver.get("https://www.tabelog.com") elem_search_word = driver.find_element_by_name("sa") elem_search_word.send_keys("新橋") elem_search_word2 = driver.find_element_by_name("sk") elem_search_word2.send_keys("居酒屋") elem_search_word2.submit() elem_rank = driver.find_element_by_class_name("navi-rstlst__label--rank") elem_rank.click() 宜しくお願いします。
takeaship

2020/03/19 05:36

出ているエラーを載せてください。
pythonbegginer

2020/03/19 05:43

ありがとうございます。以下のエラーがでます。 宜しくお願いします。 >>> elem_rank = driver.find_element_by_class_name("navi-rstlst__label--rank") Traceback (most recent call last): File "<stdin>", line 1, in <module> File "C:\Users\UUxxxxxx\AppData\Local\Programs\Python\Python38-32\lib\site-packages\selenium\webdriver\remote\webdriver.py", line 564, in find_element_by_class_name return self.find_element(by=By.CLASS_NAME, value=name) File "C:\Users\UUxxxxxx\AppData\Local\Programs\Python\Python38-32\lib\site-packages\selenium\webdriver\remote\webdriver.py", line 976, in find_element return self.execute(Command.FIND_ELEMENT, { File "C:\Users\UUxxxxxx\AppData\Local\Programs\Python\Python38-32\lib\site-packages\selenium\webdriver\remote\webdriver.py", line 321, in execute self.error_handler.check_response(response) File "C:\Users\UUxxxxxx\AppData\Local\Programs\Python\Python38-32\lib\site-packages\selenium\webdriver\remote\errorhandler.py", line 242, in check_response raise exception_class(message, screen, stacktrace) selenium.common.exceptions.NoSuchElementException: Message: no such element: Unable to locate element: {"method":"css selector","selector":".navi-rstlst__label--rank"} (Session info: chrome=80.0.3987.149)
takeaship

2020/03/19 05:53 編集

NoSuchElementExceptionと出てますね。つまりそんなクラスの要素はないと言ってます。 私とKatoさんとで表示されてるHTMLが違うのかもしれません。なぜかは知らないですが。 KatoさんのほうでHTMLを確認して、ランキングタブに特有そうなclassを指定して再チャレンジしてみてください。classは1つしか指定できないことをお忘れなく。(スペースで区切られている1つ1つが単一のclassです。もとのコードの"navi-rstlsttext navi-rstlsttext--rank"では、navi-rstlsttextとnavi-rstlsttext--rankの2つを指定してしまっています。)
pythonbegginer

2020/03/19 08:14

ありがとうございます^^丁寧な回答感謝します。 引き続きトライしてみます。
guest

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.50%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問