前提・実現したいこと
ヤフオクのすべての入札履歴のスクレイピング
pythonとseleniumを使ったスクレイピングを行っています。
入札履歴を見るにはyahooにログインをしなくてはならず、(https://shimi-dai.com/python-selenium-web-scraping-at-login-page/)を参考にログインしてから入札履歴のスクレイピングを行いたいです。
そこで、全ての入札履歴をスクレイピングをしたいのですが、クラスが1行飛ばしになっていて、tdタグで全ての入札を拾いたいのですが、やり方が全く分かりません。
requestsなどでやる場合もwebdriverを経由してもログイン状態になっていなくて難しいです。
明らかに初心者な質問で申し訳ないのですが、よろしくお願いします
試したこと
browserは全ての入札履歴のページにいます
(例として(https://auctions.yahoo.co.jp/jp/show/bid_hist?aID=x570461767&typ=log)のサイトにいるとします)
(先にログイン処理をしています)
posts = browser.find_elements_by_css_selector("tr")
j=0
for post in posts:
nyu = posts[j].find_element_by_tag_name('td').text
j+=1
こんな感じで全てのテキストを拾えるかなと思ったのですが、NoSuchElementExceptionが出てしまい、出来ませんでした。
あなたの回答
tips
プレビュー