Pythonでスクレイピングする際に、データをもれなく正確に取得したい。

Question

実現したいこと

スクレイピングの際に、データをもれなく正確に取得したいです。
ご教授よろしくお願いいたします。

前提

１ページあたり320ほどのデータがあります。現在のコードでは、プログラム動作直後は問題なく動きますが、すこしづつ処理に遅れが生じます。最終的に出来上がったデータフレームは当然漏れだらけという状況です。これを正確にきちんと取得したいです。
サイトについてですが、スクレイピングは許可されており、極力負荷をかけないようにしています。

発生している問題・エラーメッセージ

エラーは特に発現していない。

該当のソースコード

from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

import time
import warnings

warnings.simplefilter('ignore', FutureWarning)

#Optionsで画像非読込などの設定
options = Options()
options.add_argument('--disable-extensions')
options.add_argument('--blink-settings=imagesEnabled=false')
service = Service('C:/Users/detec/pg/chromedriver.exe')
driver = webdriver.Chrome(service=service, options=options)
wait = WebDriverWait(driver,60)

#webdriver起動
TARGET_URL = "#"
driver.get(TARGET_URL)
time.sleep(4)

# create an empty DataFrame
df = pd.DataFrame(columns=['A, 'B', 'C', 'D'])


while True:
    #A,B,C,Dの値を取得するまで待機する
    wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, '.#A')))
    wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, '.#B')))
    wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, '.#C')))
    wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, '.#D')))
   
    #A,B,C,Dの値を見つけて、変数として格納する
    A = driver.find_elements(By.CSS_SELECTOR, '.#A')
    B = driver.find_elements(By.CSS_SELECTOR, '.#B')
    C = driver.find_elements(By.CSS_SELECTOR, '.#C')
    D = driver.find_elements(By.CSS_SELECTOR, '.#D')

    # Next Pageのボタンを探して、次のページへ。もしdisableならbreak
    next_button = driver.find_element(By.CLASS_NAME, 'pagination-next')
    driver.execute_script("arguments[0].scrollIntoView();", next_button)
    if next_button.get_attribute('disabled') == 'true':
        break
    
    next_url = next_button.get_attribute('href')
    driver.get(next_url)
    time.sleep(3)

試したこと

• time.sleep(n)の挿入。nの部分は0.5~10まで変更させました。また、スリープの場所はある程度試し済みです。
• time.sleep(n)を使わず、wait.untilに置き換えました。前者ではアクセス負荷をかけないためには使えるが、取得などを待つことはできないということで置き換えました。
• ChatGPTを使って、細かい部分の変更は調整しましたが、解決できていません。

補足情報（FW/ツールのバージョンなど）

Python 3.9

Comments

[otn]

「１ページあたり320ほどのデータ」というのは、どういう風に取得していますか？
#A #B 相当が実は4個じゃなくてが320個あると言うことでしょうか？

[Kazuhiro-ch]

コメントありがとうございます。
取得してるデータはA～Bの４つなのですが、その塊が40個～80個あるということです。
ECサイトをイメージしていただければと思いますが、商品が横に4つ並んでいて、その中に価格などのデータがあります。さらにそれが20行～あるというような感じです。

[meg_]

> すこしづつ処理に遅れが生じます。
上記はどういうことでしょうか？”遅れ”とはseleniumの動作が重くなる？ということでしょうか？（メモリの問題？）

> 最終的に出来上がったデータフレームは当然漏れだらけという状況です。
すみませんが何が”当然”なのか説明いただけますでしょうか？サイトの情報更新速度がとても速いのでしょうか？？

[otn]

失礼しました。#が目立ったので、てっきりidかと思ったのですが、よく見るとピリオドがあるので、クラスでしたね。

[otn]

データを取得し始めてから取得し終わるまでに、ページが更新されているとかですかね。
wait.untilが全部終わった時点と、次ページに遷移する直前のそれぞれで、
page_souceを取得して比べてみるとかでしょうか。
それが原因だとすると、ページ更新状況を把握しながらデータを取得しないといけなさそうです。
もしくは検索条件で時間指定が出来れば、ちょっと前までのデータだけ見るとか。

[Kazuhiro-ch]

print(data)やprint(len(df))で出力したデータや数字を比較すると明らかに少ない数が表示されます。
その後、CSV出力などをしてもデータ数が少ないため、漏れがあると考えられます。

動作が重くなるというよりは、データを取得する処理もしくはdfに格納する処理が遅れていると思います。

「当然」という言葉を使ったのは、処理が遅れておりprintされるデータが少ないため、最終的に取得できるデータも当然少ないという意味で使っておりましたが、わかりづらく表現してしまい申し訳ありません。

[Kazuhiro-ch]

page_sourceをしてみたところ、かなり容量が重いようで読み込みに時間がかかってしまっているのかもしれません。

[meg_]

漏れているというか、単純に欲しい要素が取得できていないという可能性は無いのでしょうか？

[Kazuhiro-ch]

調べてみたところ、HTMLファイルが大きいのでmeg_様のおっしゃる通り取得できていないという可能性が高そうです。

[otn]

ループのそれぞれの回で、それぞれ2つのpage_souceは全部一致したのでしょうか、一致しなかった回があったのでしょうか？まだ調査中ですか？

[Kazuhiro-ch]

すいません。HTMLファイルが大きく、Jupiterではさばききれないみたいです、、、

[otn]

> HTMLファイルが大きく、Jupiterではさばききれないみたいです、、、
もしかして、画面に表示して、目検で比較しようとしていた？？目検では無理では？
コードを書くために回答にに書きます。

[meg_]

> １ページあたり320ほどのデータがあります。
上記はスクレイピングで取得した情報から得た数値でしょうか？（目視の情報と合っているかの確認です）

[Kazuhiro-ch]

いえ、ウェブサイトを訪問し、目視で確認した情報です。
そしてスクレイピングで取得した情報から得た数値はおよそその80%（1ページ目）でした。
処理が進むにつれて、その数値の％は減っていきます。

[meg_]

> スクレイピングで取得した情報から得た数値はおよそその80%（1ページ目）でした。
1ページ目で既に欠損が発生しているのですね。
そのページをローカルに保存してスクレイピングした場合は欲しいデータを全て取得出来ますか？

[Kazuhiro-ch]

ダウンロードするとデータがきちんと表示されないみたいです。
「ご指定のページが見つかりませんでした」となります。

Answer 1

追記

すいません。昨夜寝ぼけてたのか、「idで検索している」という誤解からの脱却が不十分でした。

wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, '.#A')))

は、そのクラスの要素が存在すればwaitは完了しますので、320個の要素がJavaScriptで順次追加されているのだとすると、「1つでも存在すれば」で待つのは不十分です。
「情報を取得している最中にどんどんページが書き換わる」よりはこちらが原因としてありそうです。

何らかの手段で、ページが全部更新終わったことを確認する必要があります。
先ほど取得した、初めの頃のHTMLと、終わりの方のHTMLを比較すれば何か見つかるかも。
個数がわかればその個数そろうまで待てば良い等。
確認手段が見つからないようなら、最悪、十分な時間待つとかですね。30秒とか1分とか。

ここから最初のアドバイス

HTMLファイルが大きく、Jupiterではさばききれないみたいです、、、

もしかして、画面に表示して、目で見て比較しようとしていましたか？目検で比較は無理では？
コード例を示します。（実行したわけじゃ無いのでタイプミスなどあれば直して下さい）

loop_count = 0 ###追加
while True:
    loop_count += 1 ###追加
    #A,B,C,Dの値を取得するまで待機する
    wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, '.#A')))
    wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, '.#B')))
    wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, '.#C')))
    wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, '.#D')))
   source1 = driver.page_source ###追加

    #A,B,C,Dの値を見つけて、変数として格納する
    A = driver.find_elements(By.CSS_SELECTOR, '.#A')
    B = driver.find_elements(By.CSS_SELECTOR, '.#B')
    C = driver.find_elements(By.CSS_SELECTOR, '.#C')
    D = driver.find_elements(By.CSS_SELECTOR, '.#D')

    # Next Pageのボタンを探して、次のページへ。もしdisableならbreak
    next_button = driver.find_element(By.CLASS_NAME, 'pagination-next')
    driver.execute_script("arguments[0].scrollIntoView();", next_button)
    if next_button.get_attribute('disabled') == 'true':
        break
    
    next_url = next_button.get_attribute('href')
    source2 = driver.page_source ###追加
    if source1 != source2: ###追加
        print(f"{loop_count}回目の繰り返しで、最初と最後でHTMLが異なる") ###追加
        with open(f"source1-{loop_count}.html","w") as f: ###追加
            f.write(source1) ###追加
        with open(f"source2-{loop_count}.html","w") as f: ###追加
            f.write(source2) ###追加
    else: ###追加
            print(f"{loop_count}回目の繰り返しで、最初と最後でHTMLが同じ") ###追加
    driver.get(next_url)
    time.sleep(3)

最初と最後で不一致ならファイルに書くので、後で中を比較します。

Comments

[Kazuhiro-ch]

1回目の繰り返しで、最初と最後でHTMLが異なる
2回目の繰り返しで、最初と最後でHTMLが異なる
3回目の繰り返しで、最初と最後でHTMLが異なる
4回目の繰り返しで、最初と最後でHTMLが同じ
5回目の繰り返しで、最初と最後でHTMLが異なる
6回目の繰り返しで、最初と最後でHTMLが同じ
7回目の繰り返しで、最初と最後でHTMLが同じ
8回目の繰り返しで、最初と最後でHTMLが同じ
9回目の繰り返しで、最初と最後でHTMLが同じ
10回目の繰り返しで、最初と最後でHTMLが同じ
11回目の繰り返しで、最初と最後でHTMLが同じ
12回目の繰り返しで、最初と最後でHTMLが同じ
13回目の繰り返しで、最初と最後でHTMLが同じ
14回目の繰り返しで、最初と最後でHTMLが同じ
15回目の繰り返しで、最初と最後でHTMLが同じ
16回目の繰り返しで、最初と最後でHTMLが同じ
17回目の繰り返しで、最初と最後でHTMLが同じ
18回目の繰り返しで、最初と最後でHTMLが同じ
19回目の繰り返しで、最初と最後でHTMLが同じ
20回目の繰り返しで、最初と最後でHTMLが同じ
21回目の繰り返しで、最初と最後でHTMLが同じ
22回目の繰り返しで、最初と最後でHTMLが同じ
...
というような結果になりました。

[Kazuhiro-ch]

始めのget_urlで60秒、next_urlで10秒待機したところ、1回目の繰り返しで、最初と最後でHTMLが同じ以降すべ手同じになりました。ただ、ではその通り実際に待機して動かしてみても、取得できた件数は40行分の35行でした。

[otn]

時間待ちで行くなら、全件取得できるまで、思い切り待って見るのでしょうね。

不一致HTMLの前後比較の差分はどうだったのでしょうか？