selenium 取得結果 保存

Question

前提・実現したいこと

テキストデータをスクレイピングで取得したいのですが、以前自分でやったプログラム通りやってもうまくいきません。初歩的なミスだと思うのですが、分かる方はぜひ教えて頂きたいです。

発生している問題・エラーメッセージ

エラーなどは特に出ていなく、テキストにも何もない状態です。

該当のソースコード

import time
from selenium import webdriver
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.common.action_chains import ActionChains

 f = open('trendkeyword.txt', mode='a', encoding='utf-8')

# Chrome起動
driver = webdriver.Chrome(executable_path='C:\chromedriver_win32\chromedriver.exe')
driver.maximize_window()

#検索
URL = 'https://wear.jp/women-keyword/'
driver.get(URL)

# ページ上のすべての要素が読み込まれるまで待機（60秒でタイムアウト判定）
WebDriverWait(driver, 30).until(EC.presence_of_all_elements_located)
#　タグを取得する
element = driver.find_elements_by_class_name('keyword > ul > li')
for wear in element:
        try:
            for tag in element:
                f.write("#" + tag.text + "\n")
                driver.close()
                f.write()
        except:
            pass
        f.close()

試したこと

ここに問題に対して試したことを記載してください。

補足情報（FW/ツールのバージョンなど）

](c4707829bc7936aca079ea169458d5e6.png)

Answer 1

find_elements_by_class_nameは、名前から分かるとおり、クラス名で要素を指定するメソッドです。
keyword > ul > liは、クラス名じゃなくてCSSセレクターなので、
find_elements_by_css_selectorを使います。

##追記
後半の書き直し。

elements = driver.find_elements_by_css_selector('#keyword > ul > li')
for tag in elements:
    f.write("#" + tag.text + "\n")

driver.close()
f.close()

Comments

[退会済みユーザー]

そうなんですね。ありがとうございます。実行してみたらエラーは出なかったのですが、テキストファイルに保存されていないのですが、そちらの方は何かわかりますでしょうか。

[otn]

そちらのほう？？？？？
find_elements_by_css_selector
に変えても見つからないと言うことですか？

[退会済みユーザー]

フォルダがあるだけで中身は何もない状態です。

[otn]

では、指定が間違っていると言うことです。
keyword > ul > li に該当するノードが存在しないということ。

[退会済みユーザー]

補足したHTMLの中のaタグのdholicって書かれている部分を取得したいのですが間違っていますでしょうか。

[otn]

keywordは、タグ名じゃなくてidなので、
"#keyword > ul > li"
ですね。a タグじゃなくて li タグを取得するので良いのでしょうか？

[退会済みユーザー]

できました。この下にも同じタグが続いていて全て取得したい場合はどうしたらよろしいのでしょうか。

[otn]

for wear in element:
以降がぐちゃぐちゃですね。ゼロから書き直した方が良いです。

[退会済みユーザー]

参考までに少し教えていただけないでしょうか。

[otn]

追記しました。

[退会済みユーザー]

ありがとうございます。
InvalidSessionIdException: Message: invalid session id
このようなエラーが出てしまったのですが…

[otn]

今回の質問とは別の話ですね。
まずちゃんとページが表示できないと、情報は取得できません。

ちなみにどの行でですか？

[退会済みユーザー]

やり直したらできました。とても助かりました。ありがとうございます。