seleniumを使ってtableの特定のdataをクリックしたい。

Question

seleniumを使って自動でtableの特定のtdをクリックしたい。クリックしたあとの操作はすでに準備ができている。
プログラミング言語はpythonです。

ログインが必要なサイトで、postメソッドなど色々試したがbeatifulsoupで取得できなかったので、
seleniumを使用してスクレイピングしたい。
tableはシフト表のようになっている。

<table> <tr class = title> <th>名前</th> <th>今日</th> <th>明日</th> : <th>１週間後</th> <tr class = time> <td>山田</td> <td>9-17</td> : : のようなテーブルで、特定の名前の隣接する何番目のデータをseleniumで指定してクリックしたいのですが、 どうすればいいでしょうか？ たくさんのシフト表があり、原本との差異を更新していく業務です。 それぞれのシフト表の名前と勤務時間をリストに格納し、さらに名前をキーに勤務時間を値にして辞書にもしてあります。

今の所、辞書同士をfor文で比較して差異があったらseleniumで
driver.find_element_by_css_selector(辞書.keys()をつかったりしてどうにかして日付を何番目とかで指定したいイメージ).click()
という動作を考えています。

Comments

[frederick_1974]

質問を見ているとシフトの時間を確認するために、要素のテキストを取得して、原本と比較できればいいように感じたのですが、クリックする必要があるのでしょうか？

[help_heaven]

お答えいただきありがとうございます。クリックしてセレクトボックスを表示させて、正しい時間を入力するという作業があるのでクリックする必要があります。

Answer 1

単純にWEB上のテーブルデータを拾うだけでしたら、以下のコードでhtml上のテーブルをDataFrameのリストとして取得できますので、リストの中から必要なDataFrameを見つけ、DataFrameで名前で検索すれば値を取得できますので、原本と比較できるのではないでしょうか。

import pandas as pd
from selenium import webdriver

url = 'シフトが掲示されているページ'

driver = webdriver.Chrome()
driver.get(url)

df_list = pd.read_html(driver.page_source, encoding = 'cp932')

もしクリックをする必要があるとすると、htmlのtableのxpathは一般的に/html/body/table/tbody/tr[2]/td[4]のような形になっていて、[2]が行数で[4]が列数に当たります。
そこで、上記DataFrameを名前で検索することでDataFrame上の行数を検索すれば（タイトル行の分1行ずれるかもしれませんが）、xpathの行数や列数の部分に値を入れdriver.find_element_by_xpath('/html/body/table/tbody/tr[2]/td[4]').click()クリックが可能になるのではないかと思います。

Answer 2

みなさん、回答ありがとうございました。
抽象的でわかりにくい状況の説明ですみませんでした。
時間を奪ってしまってすみません。

意味不明だと思っていたそれぞれのdtのIDに規則性があることを発見したので、
いろんなテキスト成形を使って狙い通りのdtをクリックすることができるようになりました。

Answer 3

特定の名前の隣接する何番目のデータをseleniumで指定してクリックしたいのですが、

抽象的な表現なので、意味が取れているかどうかわかりませんが、あるテキストをキーにして目的のノードを探すということであれば、方針としては、
案１：ノードのリストを作り、forで目的のノードの添え字を調べて、その添え字を使って目的のノードに決めてクリックする
案２：そういうXPathを書いてノードを指定してクリックする