PythonのSeleniumでIEを操作したいが、webdriver_managerでValueErrorが発生

Question

前提・実現したいこと

Python(3.7)のSeleniumでIEでしか動作しない社内システムのスクレイピングに取り組んでいます。
そこで、webdriver_managerのIEDriverManagerを使いたいと考えております。

発生している問題

以下のように記述したのですが、ValueErrorが発生します。
エラー無くドライバをダウンロードさせるには、どのように記述すれば良いのでしょうか？

因みに、こちらのブログを参考にさせて頂いています。
https://yuki.world/python-selenium-chromedriver-auto-update/#t_Internet_ExplorerIEDriver

何卒、アドバイスをお願い致します。

発生している問題・エラーメッセージ

C:\work>python 01_ie_test.py
[WDM] - There is no [x64] IEDriverServer for browser  in cache
Traceback (most recent call last):
  File "01_ie_test.py", line 4, in <module>
    driver_path = IEDriverManager().install()
  File "C:\Python\lib\site-packages\webdriver_manager\microsoft.py", line 26, in install
    return self._get_driver_path(self.driver)
  File "C:\Python\lib\site-packages\webdriver_manager\manager.py", line 29, in _get_driver_path
    file = download_file(driver.get_url())
  File "C:\Python\lib\site-packages\webdriver_manager\driver.py", line 168, in get_url
    major, minor, patch = self.__get_divided_version(self.get_version())
  File "C:\Python\lib\site-packages\webdriver_manager\driver.py", line 183, in __get_divided_version
    "but given was: {version}".format(version=self.get_version()))
ValueError: Version must consist of major, minor and/or patch, but given was: .3.150.2

試したコード

from selenium import webdriver
from webdriver_manager.microsoft import IEDriverManager

driver_path = IEDriverManager().install()
driver = webdriver.Ie(driver_path)
driver.get('https://google.com')

自分で試したこと

Python\Lib\site-packages\webdriver_manager\にある
microsoft.pyのIEDriverManager（）の__init__の引数urlに記載の
http://selenium-release.storage.googleapis.com
にアクセスしたところ、以下の記述があることを発見しました。

<Contents>
<Key>3.150/IEDriverServer_Win32_.3.150.2.zip</Key>
<Generation>1628200845472844</Generation>
<MetaGeneration>1</MetaGeneration>
<LastModified>2021-08-05T22:00:45.502Z</LastModified>
<ETag>"6f17f688d643c40ea21c2610b55d259f"</ETag>
<Size>1062956</Size>
</Contents>


<Contents>
<Key>3.150/IEDriverServer_x64_.3.150.2.zip</Key>
<Generation>1628200846705412</Generation>
<MetaGeneration>1</MetaGeneration>
<LastModified>2021-08-05T22:00:46.734Z</LastModified>
<ETag>"93ddb5c8a84a304b9ed915431c79d816"</ETag>
<Size>1154724</Size>
</Contents>

__get_divided_versionのversionをsplitしたとき、
versionの中身は「.3.150.2」となっており、
splitしたら[],[3],[150],[2]となってlen(divided_version)が4になってValueErrorになっている
ということで、
Python\Lib\site-packages\webdriver_manager\にある
driver.pyの
class IEDriver(Driver):の
__get_divided_versionの2行目に
version = version[1:]
を追加してみました。（下記コードの2行目です。）

    def __get_divided_version(self, version):
        version = version[1:]
        divided_version = version.split('.')
        if len(divided_version) == 2:
            return divided_version[0], divided_version[1], '0'
        elif len(divided_version) == 3:
            return divided_version
        else:
            raise ValueError(
                "Version must consist of major, minor and/or patch, "
                "but given was: {version}".format(version=self.get_version()))

すると以下のように、len(divided_version) == 3になりますので、
ダウンロードを試みるところまで進んだのですが、
ピリオドを削除した影響でurlのピリオドも消え、リンクが正しくなくなり、
ダウンロードに失敗しました。

C:\work>python 01_ie_test.py


====== WebDriver manager ======
There is no [Win32] IEDriverServer for browser  in cache
Trying to download new driver from http://selenium-release.storage.googleapis.com/3.150/IEDriverServer_Win32_3.150.2.zip
Traceback (most recent call last):
  File "C:\work\01_ie_test.py", line 4, in <module>
    driver_path = IEDriverManager(os_type = "win32").install()
  File "C:\Python\lib\site-packages\webdriver_manager\microsoft.py", line 25, in install
    return self._get_driver_path(self.driver)
  File "C:\Python\lib\site-packages\webdriver_manager\manager.py", line 30, in _get_driver_path
    file = download_file(driver.get_url())
  File "C:\Python\lib\site-packages\webdriver_manager\utils.py", line 93, in download_file
    validate_response(response)
  File "C:\Python\lib\site-packages\webdriver_manager\utils.py", line 79, in validate_response
    raise ValueError("There is no such driver by url {}".format(resp.url))
ValueError: There is no such driver by url http://selenium-release.storage.googleapis.com/3.150/IEDriverServer_Win32_3.150.2.zip

ここまでした時点で、一旦質問してみようと考え、投稿致します。
最後まで見て頂いて、ありがとうございます。

又、別で質問しようかと思っているのですが、
IEはもう使用出来なくなりますので、PythonのSeleniumでEdgeのIEモードを操作する方法について
どなたかご存じありませんでしょうか。
C#だと・・・

https://qiita.com/satata/items/47e8b2422e9238f1a7ef

https://stackoverflow.com/questions/63361687/is-there-a-way-to-activate-ie-mode-in-edge-options

あたりが上位に表示されますが、pythonで同様のことをしようとすると、calabilitiesを適切に設定
すれば出来るのでしょうか・・・

https://www.seleniumqref.com/api/python/browser/Python_DesiredCapabilities_set.html

後ほど、新たに質問を立てるつもりです。
下記に質問を立てました。
https://teratail.com/questions/353567

補足情報（FW/ツールのバージョンなど）

利用環境
OS:windows10

python --version

Python 3.7.3

pip list

Package Version

---

altgraph 0.17
appdirs 1.4.4
astroid 2.5
beautifulsoup4 4.9.3
certifi 2019.3.9
chardet 3.0.4
colorama 0.4.4
comtypes 1.1.8
configparser 5.0.1
crayons 0.4.0
et-xmlfile 1.0.1
future 0.18.2
gitdb 4.0.5
GitPython 3.1.13
html5lib 1.0.1
idna 2.8
isort 5.7.0
jdcal 1.4
lazy-object-proxy 1.5.2
lint 1.2.1
lxml 4.3.3
mccabe 0.6.1
MouseInfo 0.1.3
msedge-selenium-tools 3.141.3
numpy 1.16.2
opencv-python 4.5.1.48
openpyxl 2.6.2
overlay 1.1.5
pandas 0.24.2
pefile 2019.4.18
Pillow 8.1.1
pings 0.0.1
pip 21.2.3
psutil 5.8.0
PyAutoGUI 0.9.52
PyGetWindow 0.0.9
pyinstaller 4.1
pyinstaller-hooks-contrib 2020.10
pylint 2.7.1
PyMsgBox 1.0.9
pyperclip 1.8.2
PyRect 0.1.4
PyScreeze 0.1.26
python-dateutil 2.8.0
PyTweening 1.0.3
pytz 2019.1
pywin32 300
pywin32-ctypes 0.2.0
requests 2.21.0
selenium 3.141.0
setuptools 40.8.0
six 1.12.0
smmap 3.0.5
soupsieve 2.2
toml 0.10.2
tqdm 4.56.1
typed-ast 1.4.2
urllib3 1.24.1
webdriver-manager 3.2.2
webencodings 0.5.1
wheel 0.35.1
wrapt 1.12.1
xlrd 1.2.0
zenhan 0.5.2

Answer 1

下記のようにdriver.pyを改造すると、.3.150.2でも自動でダウンロードすることが出来ました。

１．__get_divided_versionで邪魔なピリオドがあれば削除し、以降のコードが正しく動くようにします。
２．get_urlでは、邪魔なピリオドが必要なので、major_period_flg を追加
３．邪魔ピリオドの有無を覚えておくために__init__にてself.major_period_flgを追加
major_period_flgは、初めTrue,Falseで作り始めたのですが、get_urlにてformat関数で置換する
とき簡単だったので、文字列"."にしてしまいました。

C:\Python\Lib\site-packages\webdriver_manager\driver.py

class IEDriver(Driver):
    def __init__(self, name, version,
                 os_type,
                 url,
                 latest_release_url):

        if os_type == "win64":
            os_type = "x64"
        else:
            os_type = "Win32"
        super(IEDriver, self).__init__(version=version,
                                       os_type=os_type,
                                       url=url,
                                       latest_release_url=latest_release_url,
                                       name=name)
        self.browser_version = ""
        self.major_period_flg = "" #追加

    def get_url(self):
        major, minor, patch = self.__get_divided_version(self.get_version())
        
        if self.major_period_flg == true:
            return ("{url}/{major}.{minor}/"
                    "{name}_{os}_{major_period_flg}{major}.{minor}.{patch}.zip").format(
                url=self._url, name=self.get_name(), os=self.get_os_type(),
                major_period_flg = self.major_period_flg,
                major=major, minor=minor, patch=patch) #変更 major_period_flg追加

    def __get_divided_version(self, version):
        if version[0] == ".":           #追加 もし要らないピリオドがついていたら
            version = version[1:]       #追加 初めのピリオドを削除
            self.major_period_flg = "." #追加 フラグにピリオドを追加

        divided_version = version.split('.')
        if len(divided_version) == 2:
            return divided_version[0], divided_version[1], '0'
        elif len(divided_version) == 3:
            return divided_version
        else:
            raise ValueError(
                "Version must consist of major, minor and/or patch, "
                "but given was: {version}".format(version=self.get_version()))

このようにdriver.pyを変更し、以下のコードによりEdgeのIEモードがpythonで起動しました。

from selenium import webdriver
from webdriver_manager.microsoft import IEDriverManager

ieOptions = webdriver.IeOptions()
ieOptions.add_additional_option("ie.edgechromium", True)
ieOptions.add_additional_option("ie.edgepath",'C:\Program Files (x86)\Microsoft\Edge\Application\msedge.exe')
driver = webdriver.Ie(executable_path=IEDriverManager().install(), options=ieOptions)
driver.get('https://google.com')

Answer 2

最新バージョンだけバージョン表記が間違っているようです。
回避するだけでしたらバージョン指定を行えば大丈夫なようです。

driver_path = IEDriverManager(version='3.150.1').install()

Comments

[yutchan]

教えて頂きありがとうございます。
まさか間違っているなんて、思いもしなかったので、何か理由があるのかなーと思ってはまってしまいました。
間違っているなら、対処しようということで、余分なピリオドが付いていた場合に回避する方法を考えてみました。