【Python】Captchaの突破方法について教えていただけませんでしょうか。

Question

https://www.uen.gov.sg/

にアクセスすると、まず番号のcaptchaが出てきます。
これは画像認識で突破しましたが、次にアルファベットで読みづらそうなcaptchaが出てきます。

画像認識は複雑で無理でした。
音声認識は、スピーカーから流れる音をマイクで拾って音声を読み取って入力しても、
正確にアルファベットを聞き取ることができないようです。

どなたかお力を貸していただけないでしょうか。

rom selenium import webdriver
from selenium.webdriver.common.keys import Keys
from bs4 import BeautifulSoup
import requests
import pandas as pd
import csv
import time
import urllib.parse
import re
import numpy as np
from selenium.webdriver.common.by import By
from selenium.webdriver.common.action_chains import ActionChains
from selenium.webdriver.chrome.options import Options
from selenium.common.exceptions import NoSuchElementException
from selenium.common.exceptions import ElementNotInteractableException
from PIL import Image, ImageTk, ImageGrab
import pytesseract
import cv2
import matplotlib.pyplot as plt
from PIL import Image
import speech_recognition as sr
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
import sounddevice as sd



browser = webdriver.Chrome()
browser.maximize_window()
url= "https://www.uen.gov.sg/"
browser.get(url)


# full screen
#ImageGrab.grab().save("PIL_capture.png")
# 指定した領域内をクリッピング
ImageGrab.grab(bbox=(700, 800, 1150, 1050)).save("PIL_capture_clip.png")
#bbox=(左, 上, 右, 下)
img = Image.open("PIL_capture_clip.png")
#img.show()  # 画像表示
time.sleep(1)

num = pytesseract.image_to_string(img, config = "--psm 7 nobatch digits")

print(num)
time.sleep(3)
WebDriverWait(browser,15).until(EC.presence_of_element_located((By.XPATH, "//*[@id='input1']")))
userNameField = browser.find_element_by_xpath("//*[@id='input1']")
userNameField.send_keys(int(num))

WebDriverWait(browser,15).until(EC.presence_of_element_located((By.XPATH, "//*[@id='Button1']")))
submitButton = browser.find_element_by_xpath("//*[@id='Button1']")
submitButton.click()

time.sleep(0.5)

WebDriverWait(browser,15).until(EC.presence_of_element_located((By.XPATH, "//*[@id='pt1:r1:0:r1:0:cb21']")))
submitButton = browser.find_element_by_xpath("//*[@id='pt1:r1:0:r1:0:cb21']")
submitButton.click()

#0 Built-in Microphone, Core Audio (2 in, 0 out)
#1 Built-in Output, Core Audio (0 in, 2 out)

r = sr.Recognizer()
mic = sr.Microphone()

with mic as source:
    r.adjust_for_ambient_noise(source)
    audio = r.listen(source)

#print(r.recognize_google(audio,language = 'eg-US'))

audio = r.recognize_google(audio, language='eg-US')

#print(type(audio))

code = browser.find_element_by_xpath("//*[@id='pt1:r1:0:r1:0:it1::content']")
code.send_keys(audio)
print(audio)

time.sleep(4)
submitButton = browser.find_element_by_xpath("//*[@id='pt1:r1:0:cb11::icon']")
submitButton.click()

Comments

[tiitoi]

拝見しましたが、最初の数字の Captcha ならプログラムでも簡単でしょうけど、2番目のやつはプログラムでは無理だと思いますよ。
パターンによっては人間でも判読がしづらいです。

[Mona0807]

やはりそうですよね。。ありがとうございます。

[Mona0807]

ただ、音声認識もあるので、何か方法がないかと思っておりますが。。厳しいでしょうか。

[tiitoi]

音声のほうを聞きましたが、こちらであれば、音声認識でいけそうな気もします。
ただ私は音声認識は専門ではないので、具体的なやり方は申し上げられないです。
少なくとも画像認識では簡単なパターンがたまたま出てくるとかでなければ、非常に難しいだろうということは言えます。

[Mona0807]

アドバイスいただきましてありがとうございました。
音声の方向から調べてみます