selenium データスクレイピングエラー

Question

前提

Pythonでseleniumを利用してデータのスクレイピングを実施しています。

https://www.usamega.com/powerball/results/1　　←この数字

最後の数字はカウントアップしていき、現在は126までホームページが存在します。
最初の1は問題なく取得できるのですが、whileで回して2以降でエラーになります。

実現したいこと

2以降のスクレイピングを実施するための手段を教えていただけませんでしょう。

発生している問題・エラーメッセージ

２のURLで「Just a moment...」のタイトルでうまくいっていないようです。
最初は1でも同様のエラーが出力されていましたが、ヘッダーを追加したらうまくいくようになりました。

エラーメッセージ

DevTools listening on ws://127.0.0.1:54694/devtools/browser/26d885ba-e1e0-4669-bdfa-78be33bac8ec
URL番号の値
1

https://www.usamega.com/powerball/results/1

<title>Powerball Past Results | USA Mega</title> matの要素数= 338 1回終わり----------------------------------------------------- URL番号の値 2 =========================================== https://www.usamega.com/powerball/results/2 <title>Just a moment...</title> Traceback (most recent call last): File "C:\Users\user02\loto6\powerball_web2.py", line 89, in <module> lis = TABLES.find_all('li') AttributeError: 'NoneType' object has no attribute 'find_all'

該当のソースコード

デバッグでprintを多用してますがご容赦ください。

Python 3.10.8

import time
import random
import pandas as pd
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.common.by import By
from bs4 import BeautifulSoup
import chromedriver_binary
import numpy as np
import json
import pickle



#Powerball history result URL
powerball_url = 'https://www.usamega.com/powerball/results/' # 1～

num = 1
mat = [] # test


options = webdriver.ChromeOptions()
options.add_argument('--headless')
options.add_argument('--disable-gpu')
options.add_argument('--no-sandbox')
options.add_argument('--ignore-certificate-errors')
options.add_argument('--allow-running-insecure-content')
options.add_argument('--disable-web-security')
options.add_argument('--disable-desktop-notifications')
options.add_argument("--disable-extensions")
options.add_argument('--lang=en')
options.add_argument('--blink-settings=imagesEnabled=false')
options.add_argument('--log-level=1')
options.add_argument("--disable-blink-features=AutomationControlled")
#headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.0.0 Safari/537.36'}
options.add_argument("--user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.0.0 Safari/537.36")
options.binary_location = "C:\\Program Files\\Google\\Chrome Beta\\Application\\chrome.exe"
driver = webdriver.Chrome('chromedriver', options=options)




#driver = webdriver.Chrome(executable_path='絶対パス')
while num <= 3:
  
  print("URL番号の値")
  print(num)
  print("===========================================")

  #当選ページのURL
  url = powerball_url + str(num)

  print(url)

  num += 1 # 次のページに移動するためにnumに1を追加
  time.sleep(random.uniform(60, 120)) # 60-120秒Dos攻撃にならないようにするためにコードを止める

'''
  if num != 2:
    cookies = pickle.load(open("cookies.pkl", "rb"))
    for cookie in cookies:
      driver.add_cookie(cookie)
'''

  #該当ページを取得
  driver.get(url)

'''  
  if num == 2:
    pickle.dump(driver.get_cookies() , open("cookies.pkl","wb"))
'''

    
  time.sleep(5)
  html = driver.page_source.encode('utf-8')
  soup = BeautifulSoup(html, "html.parser")
  print(soup.title)
  #print(soup.html)

  TABLES = []
  
  TABLES = soup.find('table', {'class': 'results pb'})

  #len(table)
  #print(len)
  #print(TABLES)
  
  r = []
  lis = []

  
  lis  = TABLES.find_all('li')       ←　エラーが起きている場所
  
  for li in lis:  # thead -> liタグを探す
    r.append(li.text)  # liタグのテキストを保存
    mat.append(r)  # 行をテーブルに保存
  
  #print(mat[0])
  print("matの要素数=", len(mat))

　+++++++++++++++++++++++++++++++++
↓ここからデータスクレイピング処理
+++++++++++++++++++++++++++++++++

試したこと

スリープを多めにとったり、Cookieを保存、読み出してリトライしましたがうまく動作しません。

補足情報（FW/ツールのバージョンなど）

※様々な場所からコピペしながらプログラムしているのでコメントは間違っているかもしれません、気にしないでください。

Python 3.10.8

Comments

[CHERRY]

Python の場合、インデントが崩れると　正しく動きませんので、インデントがわかるように　マークダウン記法を利用してコードを記載していただけないでしょうか。

https://teratail.com/help/question-tips#questionTips37 参照 ( コードが、 <code> から </> に変わっています。 )

[rykss]

TABLESという変数が何もないようです。おそらくTableタグのスクレイピングが上手く行っていない可能性があります
プログラム89行目にてエラーが発生しているので記載のコードをもう少し下の方まで記載してほしいです

[aki1228]

CHERRYさん
やっとソースを囲みました。。。。

[aki1228]

rykssさん
1回目は（URLが1の時には正常に動作してます。）
○https://www.usamega.com/powerball/results/1
✕https://www.usamega.com/powerball/results/2

[CHERRY]

肝心のエラーが出ている箇所のコードが無いようです...

[rykss]

なにも解決していませんが念のため…
原因ははっきりとはわかりませんが、「Just a moment」と表示されているのでやはりなにかしらのアクセス制限に引っかかっているのだと思います
通常のブラウザで表示してもその画面が再現できないため、再現出来るコードを載せるのもいいかも知れません（回答が得られやすくなるかも知れないです）

[aki1228]

今のところ調べている限りでは
https://stackoverflow.com/questions/64165726/selenium-stuck-on-checking-your-browser-before-accessing-url
こちらがその現象に近いかと思っています。

[aki1228]

CHERRYさん
どのようなスクレイピングコードをいれても
上記のようなエラーは2周目には起きると思っています。
多分　なんらかの連続したプログラムアクセスの制限に引っかかっているのではないかと推測されます。

なのでお手上げでこちらに投稿しました。

[aki1228]

念のため、エラーの起きている場所をコードに加えました。

Answer 1

回答としては怪しいのですが、投稿者様が発見した同類の症状がある質問・回答のざっくりとした訳です
リンク：https://stackoverflow.com/questions/64165726/selenium-stuck-on-checking-your-browser-before-accessing-url

今回の「Just a moment...」の文からしてcloudflareのボット対策に弾かれているようです
そういったセキュリティがあるサイトではseleniumを最適化しないといけないのですが、有志の方が作ってくれたものがあるようです。

undetected-chromedriver - ultrafunkamsterdam：https://github.com/ultrafunkamsterdam/undetected-chromedriver
インストール：pip install undetected-chromedriver

中身はボット検知されにくいユーザーエージェントなどを都度付与しているようで（多分）、使い方は通常seleniumとあまり変わらないようです

import undetected_chromedriver as uc
url = "<WEBSITE>"
driver= uc.Chrome()
driver.get(url)

driverパスなどのオプションも

#...
options = us.ChromeOptions()
#ここにオプション設定
uc.Chrome(options=options)
#...

となります
より詳細な情報は上記のgithubから見れるので気になる場合は見るといいかも知れません

Comments

[aki1228]

ありがとうございます。
上記、試してみます。

[aki1228]

rykssさん
結論から申し上げますと問題なく2以降のページの値を取得できるようになりました。
import undetected_chromedriver as uc
url = "<WEBSITE>"
driver= uc.Chrome()
driver.get(url)

こちらを利用したのでオプションはなくても動作するようです。
これからブラッシュアップして利用してみます。

ありがとうございました。