seleniumで２周目のループで詰まってしまう

Question

実現したいこと

初心者質問で申し訳ありませんがよろしくお願いします。

こちらのHP
より、seleniumを使って商品名とリンクを抽出したいです。
１、ブランド名入力
２、素材名入力
３、商品データがあれば抽出
４、抽出終了、または商品データがなければ素材名をクリアして次の素材名入力
５、素材名を１周したら次のブランド名で同様の処理
６、dfをつくる

３までできていますが、４の処理でうまくいきません。

発生している問題・分からないこと

ループ処理でうまくいきません。else:内が、browser.back()だと動くのですが、２周目の処理でエラーになります。本当はブラウザバックではなく、最上部にスクロールでも同様の入力ボックスがあるので大丈夫？なので、そちらも試してみましたがうまくいきませんでした。
スクロール後画面にある、入力ボックスをクリアし、次の素材名を入力できるようにしたいです。

そもそもループ処理について学習中ですので、whileの使い方に不安があります・・。

（追記）
ブランド名入力→素材名入力→Nextpageがないので戻って素材名クリア→次の素材名入力→データ抽出・完了→Nextpageがでなくなるまで読み込んだので戻って次の素材名入力、としたいのですがここで以下のエラーが出ます。

該当のソースコード

from selenium import webdriver
from selenium.webdriver.common.by import By
import time
import tqdm
import pandas as pd
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.common.keys import Keys

df = pd.read_excel("2.xlsx")
INCI = df["INCI"].to_list()
df_brand = pd.read_excel('2.xlsx', sheet_name='Brands')
Brand = df_brand["Brand List"].to_list()

MIN_INTERVAL = 0.5
INTERVAL = 2.5
MINUTE_INTERVAL = 60

#options = Options()
#options.add_argument("--headless")
browser = webdriver.Chrome()
time.sleep(INTERVAL)
browser.get("https://incidecoder.com")
time.sleep(INTERVAL)
action = webdriver.ActionChains(browser)

#roop
for B in Brand:
    browser.find_element(By.ID, "query").send_keys(B)
    browser.find_element(By.XPATH, "//div[1]/div[2]/div[1]/form/input[2]").click()
    time.sleep(INTERVAL)

    for I in INCI:
        FIND_BOX = browser.find_element(By.XPATH, "//*[@id='products']/form/div[1]/div/div/span/span[1]/span/ul/li/input")
        PUT_ING = FIND_BOX.send_keys(I)
        time.sleep(INTERVAL)
        action.send_keys(Keys.ENTER).perform()

        FILTER = browser.find_element(By.XPATH, "//*[@id='products']/form/input[2]")
        FILTER.click()
        time.sleep(INTERVAL)

        browser.execute_script("window.scrollTo(0,document.body.scrollHeight);")
        #input("continue?")
        time.sleep(INTERVAL)

        FIND_PLACE = browser.find_elements(By.CSS_SELECTOR, "div[class=std-side-padding] > a")
        for i in FIND_PLACE:
            print(i.text)
            print(i.get_attribute('href'))
            time.sleep(INTERVAL)

        browser.execute_script("window.scrollTo(0,document.body.scrollHeight);")
        time.sleep(INTERVAL)

        while True:
            if len(browser.find_elements(By.PARTIAL_LINK_TEXT, "Next page")) >0:
                NEXT = browser.find_element(By.PARTIAL_LINK_TEXT, "Next page")
                NEXT.click()
                time.sleep(INTERVAL)

                FIND_PLACE = browser.find_elements(By.CSS_SELECTOR, "div[class=std-side-padding] > a")
                for i in FIND_PLACE:
                    print(i.text)
                    print(i.get_attribute('href'))
                    time.sleep(INTERVAL)

            else:
                browser.back()
                time.sleep(INTERVAL)
                CLEAR = browser.find_element(By.CLASS_NAME, "select2-selection__choice__remove")
                CLEAR.click()
                break

<div class="my-select2-wrapper">
    <span class="my-select2-prerender select2 select2-container select2-container--default select2-container--below" dir="ltr">
        
        <span class="select2-selection select2-selection--multiple" role="combobox" aria-haspopup="true" aria-expanded="false" tabindex="-1">
            <span class="selection">
                <ul class="select2-selection__rendered">
                    
                    <li class="select2-selection__choice">
                        <span class="select2-selection__choice__remove" role="presentation">×</span>Sodium PCA
                    </li>

試したこと・調べたこと

• teratailやGoogle等で検索した
• ソースコードを自分なりに変更した
• 知人に聞いた
• その他

上記の詳細・結果

・action.move_to_element(CLEAR).perform()
・browser.execute_script("window.scrollTo(0,0);")
など、ネットで調べながら色々試してみましたがうまくいきませんでした。

補足

エラーメッセージ
Traceback (most recent call last):
File "/main.py", line 73, in <module>
CLEAR.click()
File "/webelement.py", line 94, in click
self._execute(Command.CLICK_ELEMENT)
File "/webelement.py", line 395, in _execute
return self._parent.execute(command, params)
File "/webdriver.py", line 348, in execute
self.error_handler.check_response(response)
File "/errorhandler.py", line 229, in check_response
raise exception_class(message, screen, stacktrace)
selenium.common.exceptions.ElementNotInteractableException: Message: element not interactable
(Session info: chrome=120.0.6099.234)

Comments

[otn]

> ループ処理でうまくいきません。
発生している現象を書きましょう。エラーメッセージが出て止まるとか、実行が1時間以上続いているとか、エラーは出ずに正常終了するが期待と違う結果が出力されるとか。。
「【うまくいく】ことが発生していない」のように「発生していないこと」を書くのは無意味です。

Answer 1

ブラウザの Developer Tools で HTTP 通信を覗いてみると、HTTP GET でクエリを発行していることが判ります。(HTML form) 例えば、ブランド名が chanel で素材名が Water の場合は以下の URL にアクセスします。

https://incidecoder.com/search/product?query=chanel&include=Water

レスポンス(商品データ)が複数のページに分割される場合は page(ページ番号)を指定します。

https://incidecoder.com/search/product?query=chanel&include=Water&page=2

なので、Selenium の代わりに requests + BeautifulSoup でも必要な情報を取得することができます。

import requests
from bs4 import BeautifulSoup
from urllib.parse import urljoin, urlparse, parse_qs
from pprint import pprint

SEARCH_URL = 'https://incidecoder.com/search/product'

def extract_products_info(brand_name, ingredient, nth_page=1):
    # query by brand name
    params = { 'query': brand_name, 'include': ingredient, 'page': nth_page }
    response = requests.get(SEARCH_URL, params=params)
    response.raise_for_status()

    # extract products name and url
    soup = BeautifulSoup(response.text, 'html.parser')
    link = soup.select('a.klavika.simpletextlistitem')
    products = []
    for l in link:
        products.append({'name': l.text, 'url': urljoin(SEARCH_URL, l['href'])})

    # follow next page
    next_page = soup.select_one('a:-soup-contains("Next page")')
    if next_page is None: # last page
        return products

    # next page
    page = parse_qs(urlparse(next_page['href']).query)['page'][0]
    products += extract_products_info(brand_name, ingredient, page)
    return products

if __name__ == '__main__':
    Brand = ['chanel', 'skinceuticals']
    INCI = ['Water', 'Silica']

    result = []
    for B in Brand:
        for I in INCI:
            products = extract_products_info(B, I)
            result.append({'Brand': B, 'Ingredient': I, 'Products': products})

    pprint(result)

# [{'Brand': 'chanel',
#   'Ingredient': 'Water',
#   'Products': [{'name': 'Chanel Signature De Chanel',
#                 'url': 'https://incidecoder.com/products/chanel-signature-de-chanel'},
#                {'name': 'Chanel N°1 De Chanel Revitalizing Serum',
#                 'url': 'https://incidecoder.com/products/chanel-ndeg1-de-chanel-revitalizing-serum'},
#                               :
#
#  {'Brand': 'chanel',
#   'Ingredient': 'Silica',
#   'Products': [{'name': 'Chanel N°1 De Chanel Revitalizing Foundation',
#                 'url': 'https://incidecoder.com/products/chanel-ndeg1-de-chanel-revitalizing-foundation'},
#                {'name': 'Coco chanel CHANEL JOUES CONTRASTE 71 Malice',
#                 'url': 'https://incidecoder.com/products/coco-chanel-chanel-joues-contraste-71-malice'},
#                               :
#
#  {'Brand': 'skinceuticals',
#   'Ingredient': 'Water',
#   'Products': [{'name': 'SkinCeuticals Emollience',
#                 'url': 'https://incidecoder.com/products/skinceuticals-emollience'},
#                {'name': 'SkinCeuticals Gentle Cleanser',
#                 'url': 'https://incidecoder.com/products/skinceuticals-gentle-cleanser'},
#                               :
#
#  {'Brand': 'skinceuticals',
#   'Ingredient': 'Silica',
#   'Products': [{'name': 'SkinCeuticals A.G.E. Eye Complex',
#                 'url': 'https://incidecoder.com/products/skinceuticals-a-g-e-eye-complex-2'},
#                {'name': 'SkinCeuticals Sheer Physical Uv Defense Spf 50',
#                 'url': 'https://incidecoder.com/products/skinceuticals-sheer-physical-uv-defense-spf-50'},
#                               :
#

Comments

[Gadget]

わざわざコード全容を記載していただいてありがとうございます、beautiful soupは使った事がないので、やってみます。勉強になりました、ありがとうございました。

Answer 2

エラーメッセージでは、73行目のCLEAR.click()でエラーとなっていますが、掲載のプログラムは73行目にCLEAR.click()がありません。エラーメッセージは、掲載のプログラムを実行した時に出た物を載せましょう。

71行目にCLEAR.click()があるので、これのこととして続けます。

click()に対しての Message: element not interactable は、該当エレメントがその時クリックできないという意味です。原因は色々考えられます。
1．そもそも要素が違う
2．属性などでクリックできなくなっている。人手でクリックできるなら、最初はクリックできないが1秒とか待つとクリックできるようになっている可能性がある
3．上に別の要素が重なっている。これも人手でクリックできるなら、時間を待てば良いかも
4．その他

1の可能性としては、クラス名select2-selection__choice__removeで検索していますが、同じクラス名を持つ要素は1つとは限りません。もし複数あった場合、find_elementはそのうちの1つ目のものを選択しますが、実際は2番目以降が目的の要素だったというケース。
これは、find_elementsと複数形のメソッドにして、
print( len(browser.find_elements(By.CLASS_NAME, "select2-selection__choice__remove")))
が1かどうかで分かります。
2，3の可能性は、click()の直前に、input("OK?")等と入れて、プログラムの実行を一旦待ちにして、その段階で手動でクリックできるかどうか。出来るなら、しばらく待てば良いでしょう。

Comments

[Gadget]

ページ遷移後の要素が指定できていませんでした。一旦止めて、その時点でコードがどうなっているのか確認することで、修正できました。ありがとうございました。