Python seleniumによるブラウザの自動操作

Question

pythonでseleniumを用いてamazonで自動購入できるプログラムを書いています。

# coding=utf-8
from selenium import webdriver
#data------------------------------------------------
Emailaddres = '***'
Password = '***'
URL = 'https://www.amazon.co.jp/***'
#----------------------------------------------------------
driver = webdriver.Chrome('./chromedriver') #chromeを使用
driver.get('URL') #商品ページにアクセス
buy_button = driver.find_element_by_id('add-to-cart-button').click() #カートに入れる
cart_button = driver.find_element_by_id('hlb-ptc-btn').click() #レジへ
emailbox = driver.find_element_by_id('ap_email') #サインイン
passbox = driver.find_element_by_id('ap_password') #サインイン
emailbox.send_keys(emailaddres) #サインイン
passbox.send_keys(password) #サインイン
signinsubmit = driver.find_element_by_id('signInSubmit').click() #サインイン
submit_addres = driver.find_element_by_xpath('//*[@id="address-book-entry-0"]/div[2]/span/a').click() #「この住所を使う」をクリック
driver.find_element_by_xpath('//*[@id="shippingOptionFormId"]/div[1]/div[2]/div/span[1]/span/input').click() # 「次に進む」をクリック
driver.find_element_by_xpath('//*[@id="one-time-payment-methods"]/div[2]').click() # ラジオボタンで代引きを選択
driver.find_element_by_xpath('//*[@id="continue-top"]').click() #「次に進む」をクリック
#driver.find_element_by_xpath('//*[@id="order-summary-box"]/div[1]/div/div[1]/div/span/span/input').click() # 注文確定

ラジオボタンのところで毎回エラーが起きてしまい、その先に進みません。
ラジオボタンの選択ができていないようです。
エラーメッセージは

Traceback (most recent call last):
  File "seleniumtest2.py", line 18, in <module>
    driver.find_element_by_xpath('//*[@id="one-time-payment-methods"]/div[2]').click()
  File "C:\Users\natsu\AppData\Local\Programs\Python\Python35-32\lib\site-packages\selenium\webdriver\remote\webdriver.py", line 293, in find_element_by_xpath
    return self.find_element(by=By.XPATH, value=xpath)
  File "C:\Users\natsu\AppData\Local\Programs\Python\Python35-32\lib\site-packages\selenium\webdriver\remote\webdriver.py", line 752, in find_element
    'value': value})['value']
  File "C:\Users\natsu\AppData\Local\Programs\Python\Python35-32\lib\site-packages\selenium\webdriver\remote\webdriver.py", line 236, in execute
    self.error_handler.check_response(response)
  File "C:\Users\natsu\AppData\Local\Programs\Python\Python35-32\lib\site-packages\selenium\webdriver\remote\errorhandler.py", line 192, in check_response
    raise exception_class(message, screen, stacktrace)
selenium.common.exceptions.NoSuchElementException: Message: no such element: Unable to locate element: {"method":"xpath","selector":"//*[@id="one-time-payment-methods"]/div[2]"}
  (Session info: chrome=54.0.2840.71)
  (Driver info: chromedriver=2.25.426923 (0390b88869384d6eb0d5d09729679f934aab9eed),platform=Windows NT 10.0.14393 x86_64)

調べてみていろいろ試したのですが何が原因が全く分かりません
他のサイトでも試してみたのですがこれだとラジオボタンの選択ができていないようでした
なにが悪いのか教えていただきたいです。

Answer 1

自分でも見てみましたが初学者がやるにはあまりにもハードルが高いDOMですね。
¥マークはバックスラッシュに直して下さい。

# この住所に届けるをクリック
driver.find_elements_by_class_name('a-button-text')[0].click()

# 次に進むをクリック
driver.find_elements_by_xpath('input[@value=¥'次に進む¥']')[0].click()

# ラジオボタンで代引きを選択
text_tag = driver.find_element_by_link_text('代金引換')
div_tag = text_tag.find_element_by_xpath('/../../../../')
div_tag.find_element_by_tag_name('input').click()

# 次に進むをクリック
driver.find_elements_by_name('ppw-widgetEvent:SetPaymentPlanSelectContinueEvent')[0].click()

スクレイピング対策とでも言いますか、かなり複雑なDOMになっています。
一見同じように見えるボタンでもページが異なるだけでも全く異なるDOMになりますし、
amazonポイント残高があったりすると表示項目が増えたりと、
変化が激しいDOMです。
ECサイトなので乱数要素もあると思います。

要するに何が言いたいかというと、DOMツリーを見てその形から要素を探索する
xpathにはかなり不向きなサイトです。
そのくせid属性名やname属性名も長くて、欲しいところに付加されてなかったりと
非常にスクレイピングがしづらいサイトですね。

いつ何ときどんな状況下であっても通用するようなプログラムを書くには
それなりに熟練度が高くないと難しいと思います。

もっと単純なDOMから練習していくといいでしょう。

Answer 2

xpath //*[@id="one-time-payment-methods"]　に該当するHTMLをコピペしていただけると取得方法についてアドバイスしやすいのでお願いします。