pythonでのseleniumとBeautifulSoupのselect()を使用したループ時のIndexErrorについて

Question

前提

PythonのseleniumとBeautifulSoupを使ってWebサイトを操作するプログラムを作っています。

HTMLテーブルのtr要素をsoup.find_all("tr")でリスト化し、while i <= len(array) - 1で繰り返し処理しています。

繰り返し処理内の最後で使用した配列の要素をdel array[i]削除して、配列の要素がなくなるまで繰り返すという形です。

tr要素内には数字を含むIDセレクタが割り当てられており、変数iと同じ数字を持っています。

ループの1回目はうまく機能するのですが、2回目になるとsoup.select()の部分でIndexError:list index out of rangeが発生してしまいます。

発生している問題・エラーメッセージ

Traceback (most recent call last):
  File "C:\Users\Administrator\osbot\test_os-bot_2.1.py", line 99, in <module>
    os_td_id = str(os_td_id_pre[0].contents).lstrip("['").rstrip("']")
IndexError: list index out of range

該当のソースコード

# 前略
# 2.1.1 HTMLをBeautifulSoupで解析
driver.get('https://example.com')
os_html = driver.page_source.encode('utf-8')
os_soup = BeautifulSoup(os_html, 'lxml')

# サイト内メインテーブル
os_table = os_soup.find('table', id="table1")
os_tr_array = os_table.tbody.find_all('tr', recursive=False)

# tr要素で不要な最初の要素を削除
del os_tr_array[0]

# ループ前に変数初期化
i = 0

# ループ用の値をセット
os_tr_array_len = len(os_tr_array) - 1

# メインループ（while版）
# テーブルのtr要素が存在する場合にループ
while i <= os_tr_array_len:
    # 配列から処理する行を指定
    os_tr = os_tr_array[i]
    # ウインドウを所定の位置へ
    driver.switch_to.window(driver.window_handles[0])
    # ソースコードを取得してパーサー処理
    os_tr_html = os_tr.encode('utf-8')
    os_tr_soup = BeautifulSoup(os_tr_html, 'lxml')

    # メモ欄を取得して変数に格納
    os_td_memo_css = 'memo' + str(i) + 'txtmemo_' + str(i) + '_I' 
    os_td_memo_box = driver.find_element(By.ID, os_td_memo_css)

    # 例外処理：メモ欄に何か入力されている場合はスキップする
    os_td_memo_box_val = os_td_memo_box.get_attribute('value')
    if os_td_memo_box_val:
        i += 1
        continue

    # 注文Noを取得
    os_td_id_css = '#no + str(i) + 'id_' + str(i)
    os_td_id_pre = os_tr_soup.select(os_td_id_css)
    print(os_td_id_pre)
    os_td_id = str(os_td_id_pre[0].contents).lstrip("['").rstrip("']")
    print("商品の情報を入手します...")
    print(os_td_id)

    driver.refresh()

    # 次のループ前処理
    del os_tr_array[i]
    os_tr_array_len = len(os_tr_array) - 1

試したこと

2回目のループでもprint(os_tr)で値が取得されているかを確認しました。
→そこは正常に取得されていました

独学なのでコードも見づらいかと思いますが、ご教授いただければ幸いです。
よろしくお願いいたします。

Comments

[meg_]

エラーが発生したときの「os_td_id_pre」の値がどうなっているか確認されましたか？

[ishiha]

ありがとうございます。
いま少し離れているので確認できないのですが、戻り次第確認してみます！

[ishiha]

お待たせいたしました。
「os_td_id_pre」の値ですが、print()してみたところ、
初回の値が
[<span id="no0id_0" style="display:inline-block;width:170px;">341</span>]
2回目の値が
[]
↑空となっていました。
配列の要素は5個以上あるので、2回目でout of rangeとなってしまう理由が不明です。。

[meg_]

ループ2回目のときに、os_tr_array[i]には目的の値がありますか？→os_tr_soupは解析したいhtmlとなっていますか？

Answer 1

while i <= os_tr_array_len:で、iを確認した上で、i += 1していますが、
元のiがos_tr_array_lenと等しい場合、+1するとos_tr_array_len+1となって、
添え字範囲を超えますので、del os_tr_array[i]がエラーになります。

削除する方法でもちゃんと考えれば出来ると思いますが、
「残したい物だけ残し、そうで無い物は削除する」より「もとのリストはそのままにして、残したい物だけからなる新しいリストを作る」方がわかりやすいです。

どうしても削除する場合は、後ろから順に処理してよければ、後ろから処理するとロジックが簡単になります。

Comments

[ishiha]

回答ありがとうございます。
TakaiYさんの回答を含め、「シンプルにすること」
「元のリストはそのままにして、残したいものだけからなる新しいリストをつくる」
というアドバイスからコードを修正したところ、無事思った挙動にすることができました。

コード自体は自己解決の方に記載しますが、直接的な解決のきっかけとなったotnさんの回答をベストアンサーとさせていただきます。
ありがとうございました。

Answer 2

配列の要素を順に処理するにあたって、そのループの中で配列の要素を削除していくのは筋が悪いと思います。

while i <= os_tr_array_len:
    # 配列から処理する行を指定
    os_tr = os_tr_array[i]
    # 処理
    del os_tr_array[i]
    os_tr_array_len = len(os_tr_array) - 1

こうでなく、

for os_tr in os_tr_array:
    # 処理

これで充分だと思います。
これではだめな理由はありますか？

Comments

[ishiha]

回答ありがとうございます。
このような処理にした理由もあるのですが、確かにシンプルな形に変更した方がうまくいくかもしれませんね。

一旦その形でできないか検討して書き直してみます。
追記があればまた報告させていただきます。

Answer 3

ご回答頂いた内容を参考にコードを修正したところ、解決しましたのでこちらにその修正箇所を記載します。

修正前

    driver.refresh()

    # 次のループ前処理
    del os_tr_array[i]
    os_tr_array_len = len(os_tr_array) - 1

修正後

    driver.refresh()

    # 次のループ前処理
    # 更新したページの内容で配列を再生成
    os_html = driver.page_source.encode('utf-8')
    os_soup = BeautifulSoup(os_html, 'lxml')
    os_table = os_soup.find('table', id="PageContent_ASPxSplitter1_GridView_DXMainTable")
    # 配列を更新
    os_tr_array = os_table.tbody.find_all('tr', recursive=False)
    # tr要素で不要な最初の要素を削除
    del os_tr_array[0]
    os_tr_array_len = len(os_tr_array) - 1

以上になります。
かなりの長時間悩んでいたので、様々な視点からのアドバイスをいただくことができ、とても参考になりました。
ありがとうございました。