#やりたいこと
こちらのページはURLを入力すると、HTMLを解析してタグの内容を抽出してくれるサイトです。

このページでURLを入力して、出てきた結果、つまりタイトルと本文のテキストフィールド内(htmlでいうtextarea)に書かれている内容を取り出したいのですがやり方がわかりません。
ご教授お願いします。

#ソース

html
1#import文は省略
2#前処理として、あるページのHTMLのタグの内容が欲しいので、
3#そのページのURTLを前述のサイトにおける入力文としています(cur_url)。
4
5cur_url = driver.current_url
6
7#指定urlにアクセス
8driver.get("https://tool-taro.com/wget/")
9elem = driver.find_element_by_name("value")
10
11#セレクトボックス操作、
12method_element = driver.find_element_by_name('method')
13method_select_element = Select(method_element)
14method_select_element.select_by_value('tag')
15
16#html解析実行
17elem.clear()
18elem.send_keys(cur_url)
19elem.send_keys(Keys.RETURN)
20elem = driver.find_element_by_name("result")
21
22#色々調べてやってみたのですが、以下2行実行したところ何も取り出せませんでした。
23#value = driver.find_element_by_name("result").get_attribute("value")
24value = driver.find_element_by_name("result").text
25print(value)

barobaro

2018/12/05 13:58

タイトルとテキストなら直接取りに行ったのではだめなのでしょうか？urlにパラメーターを送るとJSONで返ってきます。

行動規範の内容に同意します

回答3件

python
1elem.send_keys(Keys.RETURN)

だとブラウザの画面をみればわかりますが取得できていません
取得ボタンをクリックに変更すると取得できました

python
1elem = driver.find_element_by_class_name("lockable")
2elem.click()

サンプル

python
1from selenium import webdriver
2
3driver = webdriver.Firefox()
4
5url = 'https://www.yahoo.co.jp/'
6
7driver.get("https://tool-taro.com/wget/")
8
9elem = driver.find_element_by_name("value")
10elem.clear()
11elem.send_keys(url)
12
13elem = driver.find_element_by_class_name("lockable")
14elem.click()
15
16elem = driver.find_element_by_name("title")
17title = elem.get_attribute("value")
18
19print(title)
20
21elem = driver.find_element_by_name("result")
22value = elem.get_attribute("value")
23
24print(value)