python + selenium でxpathをテキストで取得したい。

Question

下記を実行すると該当する全てのエレメントを取得します
data = driver.find_elements_by_xpath("//img[@alt="空き"]")
それぞれどこのテーブルなのかを認識させるため下記のように処理するつもりでいます。

「//img[@alt="空き"]」のfull pathの一つが下記だったとします。
/html/body/div/form[2]/table/tbody/tr/td[2]/div/table[1]/tbody/tr[2]/td/div/div/table[1]/tbody/tr[3]/td[1]/div/div/img

上記のfullpathを文字列で取得して、splitしながらプログラム内で自分の番号（tr[3]とかtr[2]とか）を取得させたい。と思っているのですがfullpathを文字列で取得してプログラム内で使用する方法が分かりません。

fullpathを文字列で取得する方法をご存じの方がおられましたら、教えていただけると助かります。

Answer 1

面白いと思ったので、作ってみました。

from selenium import webdriver

def foo(x, ans):
  if x.tag_name == "body":
    return f"//body/{ans}"[0:-1]
  i=0
  for y in x.find_elements_by_xpath(f"../{x.tag_name}"):
    i+=1
    if y == x:
      return foo(x.find_element_by_xpath(".."), f"{y.tag_name}[{i}]/{ans}")

driver = webdriver.Chrome()

driver.get("https://www.yahoo.co.jp")
goal = driver.find_element_by_id("Topics")

xpath = foo(goal,"")
print(xpath)

confirm = driver.find_element_by_xpath(xpath)
print(confirm.get_attribute("id"))

driver.close()

Comments

[nkiki]

ご教授ありがとうございます。コードをコピペして実行すると私のやりたいことは叶いました！ひとつづつtag_nameをさかのぼっていくためfooのiを流用すれば何のtag_nameが[1]なのか[2]なのか判別できますね。すばらしいです。私が分からない記述が二か所あるので少しググる時間をください。「return f"//body/{ans}"[0:-1]」とか、「return foo(x.find_element_by_xpath(".."), f"{y.tag_name}[{i}]/{ans}")」とか。。。fってなんだろう？的なところとか、[0:-1]は確か後ろからbitを数えるだったかな？？ググってから再度コメントします。

[nkiki]

ちなみに予約システムの”空き”を複数取得してくるとそこが、どの時間帯なのかわからないため、xpathのtrについた番号を読み取って、一つ上の列の時間枠の同じtr番号のテキストを取得しにいくことで時間を認識したかったのです。pandasで上手くテーブルデータが取得できれば良かったのですが、なぜか崩れまくりで使い物にならなかったので、こういうフローを考えました。。。

[otn]

「f」ではググれないと思うので、公式リファレンスの「2.4.1. 文字列およびバイト列リテラル」を見てください。

[nkiki]

fについては理解しました。.format()の短縮系なんですね。知りませんでした。「return f"//body/{ans}"[0:-1]」はあとでconfirmの時にエラーになるので最後の「/」を取り除いてるということですね。すばらしい。私では絶対にできない高度な記述です。自分で自分を食いながらさかのぼっていき自分のxpathを求めるというわけですね。そのエレメントのfull pathが簡単に出力できる子因子があっても良いと思うのですけどね、、、、。ここまで親切に教えていただきありがとうございました。理解はできましたのでクローズします。

[otn]

> そのエレメントのfull pathが簡単に出力できる子因子があっても良いと思うのですけどね
多分、ニーズが無いんだと思います。
私もいままで欲しいと思ったことは無いです。
・ちょっと複雑なXPathを書く
・配列で取得してプログラム側で処理する
のどちらかですね。

[nkiki]

配列で取得する。とはpandasで取得するということでしょうか。私の場合、テーブルデータは全てpandasで配列化して取得していたので、pandasでうまく取得できなかったことが無いんですが、下記のサイトの予約システムではうまく取れませんでした。説明すると長くなるのでサイトの構造を見ればわかるとおもうのでプログラムの一部分を張り付けます。下記を実行した先の予約表が難敵なんですね。。。。alt属性の値”空き”はpandasで取得できないようです。その"空き"に対応する開いている時間枠を簡単に取得する方法はfull xpathを取得して求めるしかなさそうです。(興味が無ければ読み飛ばしてＯＫです。いろいろとありがとうございました。)
```
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium import webdriver
from selenium.webdriver.support import expected_conditions as EC
options = webdriver.ChromeOptions()
chromedriver_path = "E:\scスクレイピングプログラム\chromedriver.exe"
driver = webdriver.Chrome(chromedriver_path, options=options)
driver.get("https://www.fureai-net.city.kawasaki.jp/user/view/user/homeIndex.html")
WebDriverWait(driver,10).until(EC.element_to_be_clickable((By.ID, 'facility04_on'))).click()# "目的や人数から"をクリック
WebDriverWait(driver,10).until(EC.element_to_be_clickable((By.ID, 'doNextPage')))#wait
selectors = driver.find_elements_by_xpath('//*[@id="label"]')
def ddd():
j=0
for i in selectors:
#selectors_str.append(i.text)
i.click
if i.text == "テニス（屋外）" or i.text == "軟式野球" or i.text == "ソフトボール" :
i.click()
j = j + 1
if j == 3:#3つしかクリックしないのでショートカットのために設定
WebDriverWait(driver,10).until(EC.element_to_be_clickable((By.LINK_TEXT, "31")).click()#あとでホリディ日のみのループに変更
WebDriverWait(driver,10).until(EC.element_to_be_clickable((By.ID, 'doNextPage'))).click()# "上記の内容で検索する"をクリック
ddd()
```

[nkiki]

↑インデントを崩さずに投稿する方法が分かりませんでした。すみません。

Answer 2

自分で試していないのでうまく動作するかわかりませんが、以下が参考になりませんかね。

https://stackoverflow.com/questions/4176560/webdriver-get-elements-xpath

Comments

[nkiki]

回答ありがとうございます。pythonのコードではないようです。。。参考になるかもしれませんので少し読んでみます。