さくらVPSのubuntuにてseleniumを使おうとするとタイムアウトエラー

Question

エラー内容をブラウザ検索、teratailで検索しても全く出てこず、
エラー内容も意味不明で
全く解決ができそうにないのでもしどなたかご存知でしたらご教授ください:person_bowing:

現在さくらVPS上でpythonを使いseleniumでスクレイピングを行おうとしているところです。

環境：
ubuntu 22.04
python 3.9.1
selenium 3.141.0
chrome 113.0.5672.63

エラー内容：
ValueError: Timeout value connect was <object object at 0x7f186ac34390>, but it must be an int, float or None.

import requests
import re
from bs4 import BeautifulSoup
from wordpress_xmlrpc import Client, WordPressPost
from wordpress_xmlrpc.methods.posts import GetPosts, NewPost
from wordpress_xmlrpc.methods.users import GetUserInfo
from wordpress_xmlrpc.methods import media
import json
import os
import datetime
import time
    
import os
import glob
import cv2
import ssl
import string
import io
from PIL import Image, ImageOps
from requests_oauthlib import OAuth1Session
import urllib.request

from selenium import webdriver
import chromedriver_binary
from time import sleep
from webdriver_manager.chrome import ChromeDriverManager
import pandas as pd
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

from selenium.webdriver.support.select import Select
from ast import literal_eval
from pprint import pprint
from requests.exceptions import Timeout
from timeout_decorator import timeout, TimeoutError
from selenium.webdriver.chrome.options import Options # オプションを使うために必要

from selenium.webdriver.chrome import service as fs
import numpy as np
from PIL import Image



from selenium.webdriver.chrome.service import Service as ChromeService
from webdriver_manager.chrome import ChromeDriverManager

options = webdriver.ChromeOptions()
options.add_argument('--headless')
options.add_argument('window-size=1920,1080')           # ヘッドレスモードの設定を付与
options.add_experimental_option("excludeSwitches", ["enable-automation"])
options.add_experimental_option('useAutomationExtension', False)
options.add_experimental_option('prefs', {
    'credentials_enable_service': False,
    'profile': {'password_manager_enabled': False}
})
options.add_argument('--no-sandbox')
options.add_argument('--disable-dev-shm-usage')
options.add_argument(f'user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.79 Safari/537.36')

browser = webdriver.Chrome(executable_path='/usr/local/bin/chromedriver', options=options)

# 最大の読み込み時間を設定 今回は最大15秒待機できるようにする
wait = WebDriverWait(driver=browser, timeout=15)

browser.set_window_size('1920', '1080')
browser.get(url)

よろしくお願いいたします。

Comments

[mike2mike4]

そのサイトはスクレイピング許可されてますか？　スクレイピングに気づいた管理者が禁止IPリストに入れたのではないでしょうか？

[hilowkey]

コメントいただきましてありがとうございます。
そちらに関しては大丈夫です。

また、念の為そちらの可能性も懸念して私の所持しているサイトのURLでも試してみましたが
同じエラー文でした。

[otn]

エラーメッセージに行番号の情報が無かったと言うことでしょうか？
しかし、Python処理系の出しているメッセージっぽいので、あるのではと思うのですが。

[hilowkey]

行番号の記載はなく、試しにprintでどこで引っ掛かっているのか試しましたら、60行目の
browser = webdriver.Chrome(executable_path='/usr/local/bin/chromedriver', options=options)
の部分でした。
ディレクトリパスは間違っておりません。

エラー分をそのままコピペで検索したりもしたのですが、同じものは引っかからずでした。

[otn]

とりあえず、Selenium関係以外のimportを全部削除して確認しましょう。
timeoutとか怪しい。

また、ヘッドレスでgetしただけだと、getが成功したかどうかすらわからないので、
browser.get(url)
の後に、
print(browser.page_source)
を入れましょう。

[hilowkey]

ご丁寧に対応いただきましてありがとうございます。
今Selenium以外のimportをコメントアウト、browser.get(url) の後に、 print(browser.page_source)を
入れて実行してみましたがやはり変わらず表示はされていないのでその手前の60行目の
browser = webdriver.Chrome(executable_path='/usr/local/bin/chromedriver', options=options)
の部分で引っ掛かっているようです。

Google chromeなどのバージョンも合わせており、Seleniumのバージョンも4だとエラーが起きやすいとのことだったので3にしているのですが・・・

ここ数日間ずっとここで躓いている為、一度MENTAにてサポートを依頼することにしました。
また解決したらこちらに記載させていただきます。

[otn]

原因がよくわからない場合は、絞り込みます。
回答欄に書くコードで確認しましょう。

Answer 1

pythonのバージョンを3.8.1に落としてやれば解決いたしました！

3.9以降大きな改変が入り、変なエラーが起きやすくなったみたいです。

Answer 2

下記のコードではどうでしょうか？urlは変えても良いですが、それ以外はコピペで。
実行は、対話型環境とかじゃなくて、python ファイル名でやってますよね？

その1：不使用 import 削除

from selenium import webdriver
from selenium.webdriver.support.ui import WebDriverWait

options = webdriver.ChromeOptions()
options.add_argument('--headless')
options.add_argument('window-size=1920,1080')           # ヘッドレスモードの設定を付与
options.add_experimental_option("excludeSwitches", ["enable-automation"])
options.add_experimental_option('useAutomationExtension', False)
options.add_experimental_option('prefs', {
    'credentials_enable_service': False,
    'profile': {'password_manager_enabled': False}
})
options.add_argument('--no-sandbox')
options.add_argument('--disable-dev-shm-usage')
options.add_argument(f'user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.79 Safari/537.36')

browser = webdriver.Chrome(executable_path='/usr/local/bin/chromedriver', options=options)

# 最大の読み込み時間を設定 今回は最大15秒待機できるようにする
wait = WebDriverWait(driver=browser, timeout=15)

url = "https://teratail.com"
browser.set_window_size('1920', '1080')
browser.get(url)
print(browser.page_source)
print("OK")
browser.quit()

その2：optionsを最低限に。

from selenium import webdriver

options = webdriver.ChromeOptions()
options.add_argument('--headless')

browser = webdriver.Chrome(executable_path='/usr/local/bin/chromedriver', options=options)

url = "https://teratail.com"
browser.get(url)
print(browser.page_source)
print("OK")
browser.quit()

Comments

[hilowkey]

詳細にご提案いただき誠にありがとうございます。

只今どちらも試したところ、こちらのエラー内容でした。
やはり何かバージョン関係か、クロームの互換性など何かそのような問題な気がしてきました・・・

エラー内容は以下になります。

Traceback (most recent call last):
File "/home/ubuntu/zikkofile/test.py", line 6, in <module>
browser = webdriver.Chrome(executable_path='/usr/local/bin/chromedriver', options=options)
File "/home/ubuntu/.pyenv/versions/3.9.1/lib/python3.9/site-packages/selenium/webdriver/chrome/webdriver.py", line 76, in __init__
RemoteWebDriver.__init__(
File "/home/ubuntu/.pyenv/versions/3.9.1/lib/python3.9/site-packages/selenium/webdriver/remote/webdriver.py", line 157, in __init__
self.start_session(capabilities, browser_profile)
File "/home/ubuntu/.pyenv/versions/3.9.1/lib/python3.9/site-packages/selenium/webdriver/remote/webdriver.py", line 252, in start_session
response = self.execute(Command.NEW_SESSION, parameters)
File "/home/ubuntu/.pyenv/versions/3.9.1/lib/python3.9/site-packages/selenium/webdriver/remote/webdriver.py", line 319, in execute
response = self.command_executor.execute(driver_command, params)
File "/home/ubuntu/.pyenv/versions/3.9.1/lib/python3.9/site-packages/selenium/webdriver/remote/remote_connection.py", line 374, in execute
return self._request(command_info[0], url, body=data)
File "/home/ubuntu/.pyenv/versions/3.9.1/lib/python3.9/site-packages/selenium/webdriver/remote/remote_connection.py", line 397, in _request
resp = self._conn.request(method, url, body=body, headers=headers)
File "/home/ubuntu/.pyenv/versions/3.9.1/lib/python3.9/site-packages/urllib3/_request_methods.py", line 118, in request
return self.request_encode_body(
File "/home/ubuntu/.pyenv/versions/3.9.1/lib/python3.9/site-packages/urllib3/_request_methods.py", line 217, in request_encode_body
return self.urlopen(method, url, **extra_kw)
File "/home/ubuntu/.pyenv/versions/3.9.1/lib/python3.9/site-packages/urllib3/poolmanager.py", line 422, in urlopen
conn = self.connection_from_host(u.host, port=u.port, scheme=u.scheme)
File "/home/ubuntu/.pyenv/versions/3.9.1/lib/python3.9/site-packages/urllib3/poolmanager.py", line 303, in connection_from_host
return self.connection_from_context(request_context)
File "/home/ubuntu/.pyenv/versions/3.9.1/lib/python3.9/site-packages/urllib3/poolmanager.py", line 328, in connection_from_context
return self.connection_from_pool_key(pool_key, request_context=request_context)
File "/home/ubuntu/.pyenv/versions/3.9.1/lib/python3.9/site-packages/urllib3/poolmanager.py", line 351, in connection_from_pool_key
pool = self._new_pool(scheme, host, port, request_context=request_context)
File "/home/ubuntu/.pyenv/versions/3.9.1/lib/python3.9/site-packages/urllib3/poolmanager.py", line 265, in _new_pool
return pool_cls(host, port, **request_context)
File "/home/ubuntu/.pyenv/versions/3.9.1/lib/python3.9/site-packages/urllib3/connectionpool.py", line 196, in __init__
timeout = Timeout.from_float(timeout)
File "/home/ubuntu/.pyenv/versions/3.9.1/lib/python3.9/site-packages/urllib3/util/timeout.py", line 190, in from_float
return Timeout(read=timeout, connect=timeout)
File "/home/ubuntu/.pyenv/versions/3.9.1/lib/python3.9/site-packages/urllib3/util/timeout.py", line 119, in __init__
self._connect = self._validate_timeout(connect, "connect")
File "/home/ubuntu/.pyenv/versions/3.9.1/lib/python3.9/site-packages/urllib3/util/timeout.py", line 156, in _validate_timeout
raise ValueError(
ValueError: Timeout value connect was <object object at 0x7fcaaadea710>, but it must be an int, float or None.

[otn]

その2でも駄目だとちょっとわからないですね。
シェルコマンドラインから、フルパスでなく、単に
google-chrome --version
と実行して正常にバージョンが表示されますか？

[hilowkey]

只今MENTAにて解決できました！
pythonのバージョンを3.8.1に落としてやれば解決いたしました！

3.9以降大きな改変が入り、変なエラーが起きやすくなったみたいです。

[hilowkey]

本当に丁寧にご回答いただきましてありがとうございました🙇

[otn]

解決して何よりですが、下記で問題なく動いています。
$ cat /etc/redhat-release
CentOS Stream release 8
$ python -V
Python 3.9.16
$ chromedriver --version
ChromeDriver 113.0.5672.63
$ google-chrome --version
Google Chrome 113.0.5672.63