seleniumと正規表現について

お世話になっております。
seleniumでのスクレイピングをしております。
以下のコードからの出力で、
(1)httpsから始まるurlを抜き出す
(2)リストに(1)を格納
(3)for文で(2)をクリック・閉じるを繰り返す

ということをしたいと考えております。
どのようにコーディングをすればよいでしょうか？

python
1for class_ in driver.find_elements_by_class_name("bnrBoxInner"):
2    for elem in class_.find_elements_by_tag_name("a"):
3        onclick=elem.get_attribute("onclick")
4        print(onclick)

行動規範の内容に同意します

回答2件

urlを取り出してリストに格納する処理は、こんな感じで行けますが、

python
1import re
2
3
4ptn = re.compile('^.+(http.+)\')$')
5
6for class_ in driver.find_elements_by_class_name("bnrBoxInner"):
7    for elem in class_.find_elements_by_tag_name("a"):
8        onclick=elem.get_attribute("onclick")
9
10        m = ptn.match(onclick)
11        url_list.append(m.group(1))
12

(3)for文で(2)をクリック・閉じるを繰り返す

これは、URLを取り出して直接アクセスしてもダメじゃないですか？

なぜなら元のaリンクはスクリプトとしてdoSubmit関数を呼び出すように作られているので、その関数を経た後にPOSTでそのURLにアクセスされることが期待されているからです。

素直にクリックするなら、

python
1for class_ in driver.find_elements_by_class_name("bnrBoxInner"):
2    for elem in class_.find_elements_by_tag_name("a"):
3        elem.click()
4

ですが、その後、次のリンクをクリックするために戻る必要があるわけですが、「閉じる」をしてしまうと、次のリンク要素も消えてしまいますね。

上手くいくか分からない方法ですが、無理やりaタグにtarget属性を埋め込んで、別ウィンドウを開くように編集してからクリックする、という手はあるかもしれません。

python
1
2# a タグ全部にtarget属性を付けるJavascriptを走らせる
3driver.execute_script("Array.from(document.getElementsByTagName('a')).forEach(a => a.setAttribute('target', 'top'));")
4
5
6for class_ in driver.find_elements_by_class_name("bnrBoxInner"):
7    for elem in class_.find_elements_by_tag_name("a"):
8        # a をクリックする(別ウィンドウで開く)
9        elem.click()
10
11        # 最後に開いたウィンドウにスイッチする
12        driver.switch_to.window(driver.window_handles.last) 
13
14        # 閉じる
15        driver.close()
16

投稿2021/01/11 15:07

umau

総合スコア831

前の質問の続きですね。<a href="～～～">じゃなかったのか。

umauさんのお書きのように、JavaScriptの中に書かれているURLを直節getしても駄目でしょう。

Python
1a_onclicks = []
2for class_ in driver.find_elements_by_class_name("bnrBoxInner"):
3    for elem in class_.find_elements_by_tag_name("a"):
4        onclick=elem.get_attribute("onclick")
5        print(onclick)
6        a_onclicks.append(onclick)
7
8for scr in a_onclicks:
9    driver.execute_script(scr)
10    ～～～
11    driver.get("元のページ")