seleniumでの高速化

Question

python3.8でスクレイピングしています。
seleniumでやってるんですが、異様に遅いです。

テキストボックスにパラパラと入っていいくような感じです。

「selenium 遅い」でネットを検索するとすごいヒットしました。
seleniumのスクレイピングで高速化をしたいです。

・seleniumは64bitは遅いから32bitにすべき
・headlessにすると速くなる（いまはheadonでやっています）

ネットを探してて上のようなことがわかりました。

headlessにしようと、こちらのサイトをみてやってみたんですがエラーになってしまいました。

    options = webdriver.ChromeOptions()
    options.add_argument('--single-process')
    options.add_argument('--disable-application-cache')
    options.add_argument('--ignore-certificate-errors')
    options.add_argument('--start-maximized')
    driver = webdriver.Chrome(options=options)               #←ここでエラー

(<class 'selenium.common.exceptions.WebDriverException'>, WebDriverException('unknown error: Chrome failed to start: crashed.\n (chrome not reachable)\n (The process started from chrome location C:\Program Files (x86)\Google\Chrome\Application\chrome.exe is no
longer running, so ChromeDriver is assuming that Chrome has crashed.)', None, None)

何がよくないのでしょうか。

それとselenium32bitにするにはpythonの32bitを入れなおす必要があるのでしょうか。

それとseleniumでスクレイピング高速化するには他どんな方法があるのでしょうか。

chromedriverではなくfirefoxのが良いとか。。。

質問ばかりで申し訳ございません。

困っています。

よろしくお願いします。

Answer 1

• headlessにすると速くなる（いまはheadonでやっています）

ヘッドレス環境で実行することにより、ブラウザーのUIなしに実行することができます。
画面を表示せずに動作するモードです。
以下のコードでヘッドレスモードにはなります。ご自身のご環境に合わせて修正してください。

options = Options()
options.add_argument('--headless') #ヘッドレスモードを有効
driver = webdriver.Chrome(options=options)

• seleniumは64bitは遅いから32bitにすべき

こちらは、私の経験では感じる効果はあまりないかと思います。

他にも参考にして欲しいのがクリップボードにコピーして貼り付ける方法です。
Linux等のOSによっては少し手間が掛かりますが一番はやい方法かと思われます。
ご検討ください。