Webページの特定要素をまとめて取得したい
- 評価
- クリップ 0
- VIEW 5,438
pythonでseleniumを使ったweb情報の取得の勉強をしています。
（学習２日目）
環境
- windows10
- jupyter notebook
- python3.6.3(Anaconda)
例えばクックパッドのとあるページのレシピタイトルを取得・表示したい場合、下記のようにコードを書きました。
すると、'WebElement' object is not iterableと言うエラーがでてしまいます。
私のコードのどう修正したら良いのかご教授お願いできませんでしょうか。
from selenium import webdriver
#特定のページ（例としてクックパッド）を表示する。
driver = webdriver.Chrome({Webドライバの場所})
URL = "https://cookpad.com/category/11"
driver.get(URL)
#レシピタイトルの要素を取得する。
recipes = driver.find_element_by_class_name("recipe-title")
#ページ内の同一要素を順番に取得して、表示させる。（←ここをどのように修正すべきか）
for recipe in recipes:
print(recipes.text)エラー文
TypeError Traceback (most recent call last)
<ipython-input-76-690d1824d8d1> in <module>()
1 recipes = driver.find_element_by_class_name("recipe-title")
2
----> 3 for recipe in recipes:
4 print(recipes.text)
TypeError: 'WebElement' object is not iterable
なお、上記のコードは以下のサイトを参考にしました。
【Python】Webスクレイピングチュートリアル -「次へ」ボタンが存在するページをすべて取得する場合 -
posts = browser.find_elements_by_css_selector(".search-result")
for post in posts:#←ここでfor文を使っている
title = post.find_element_by_css_selector("h3").text
date = post.find_element_by_css_selector(".created").text
bookmarks = post.find_element_by_css_selector(".users span").text
se = pandas.Series([title, date, bookmarks],['title','date','bookmarks'])
df = df.append(se, ignore_index=True)
print(df)以上、よろしくお願いします。
-
気になる質問をクリップする
クリップした質問は、後からいつでもマイページで確認できます。
またクリップした質問に回答があった際、通知やメールを受け取ることができます。
クリップを取り消します
-
良い質問の評価を上げる
以下のような質問は評価を上げましょう
- 質問内容が明確
- 自分も答えを知りたい
- 質問者以外のユーザにも役立つ
評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。
質問の評価を上げたことを取り消します
-
評価を下げられる数の上限に達しました
評価を下げることができません
- 1日5回まで評価を下げられます
- 1日に1ユーザに対して2回まで評価を下げられます
質問の評価を下げる
teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。
- プログラミングに関係のない質問
- やってほしいことだけを記載した丸投げの質問
- 問題・課題が含まれていない質問
- 意図的に内容が抹消された質問
- 過去に投稿した質問と同じ内容の質問
- 広告と受け取られるような投稿
評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。
質問の評価を下げたことを取り消します
この機能は開放されていません
評価を下げる条件を満たしてません
質問の評価を下げる機能の利用条件
この機能を利用するためには、以下の事項を行う必要があります。
- 質問回答など一定の行動
-
メールアドレスの認証
メールアドレスの認証
-
質問評価に関するヘルプページの閲覧
質問評価に関するヘルプページの閲覧
check解決した方法
0
自己解決しました。
#誤り
recipes = driver.find_element_by_class_name("recipe-title")
#正しい
recipes = driver.find_elementｓ_by_class_name("recipe-title")
# ^^^ elementをelementsに修正
これで、すべての要素を取得することが出来ました。
投稿
-
回答の評価を上げる
以下のような回答は評価を上げましょう
- 正しい回答
- わかりやすい回答
- ためになる回答
評価が高い回答ほどページの上位に表示されます。
-
回答の評価を下げる
下記のような回答は推奨されていません。
- 間違っている回答
- 質問の回答になっていない投稿
- スパムや攻撃的な表現を用いた投稿
評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。
15分調べてもわからないことは、teratailで質問しよう！
- ただいまの回答率 88.19%
- 質問をまとめることで、思考を整理して素早く解決
- テンプレート機能で、簡単に質問をまとめられる
2019/04/22 11:40
ありがとうございました、勝手ながら、僕もこのジレンマにはまっていました笑
自己解決を載せていただいて感謝です