Google Cloud Functionsでスクレイピングを実行したい

Question

実現したいこと

Google Cloud FunctionsでseleniumとPythonを用いてスクレイピングを実行し、スクレイピングした情報をLineBotでLineに通知したいです。

発生している問題・分からないこと

関数を作成し、Google Cloud Functionsにデプロイしようとしたのですが、エラーが発生し、デプロイができません。
以下のサイトを参考に関数を作成し、デプロイしようとしました。
https://somnia.jp/hobby/bunseki_gc_init3/

下記のソースコードは、実際にスクレイピングする部分は省略してあります。

エラーメッセージ

Deploying function (may take a while - up to 2 minutes)...failed.                                          
ERROR: (gcloud.functions.deploy) OperationError: code=3, message=Function failed on loading user code. This is likely due to a bug in the user code. Error message: /workspace/selenium/webdriver/firefox/firefox_profile.py:206: SyntaxWarning: "is" with a literal. Did you mean "=="?
  if setting is None or setting is '':

該当のソースコード

import os
import base64, hashlib, hmac

from flask import abort, jsonify

from linebot import (
    LineBotApi, WebhookParser
)
from linebot.exceptions import (
    InvalidSignatureError
)
from linebot.models import (
    MessageEvent, TextMessage, TextSendMessage
)

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import Select
from selenium.webdriver.chrome.options import Options
from selenium.common.exceptions import NoSuchElementException
from datetime import datetime
import re
import pytz

def scraping():
    # ブラウザーを起動
    global driver
    options = webdriver.ChromeOptions()
    # 以下は各種オプションを設定 なくても動作するものがほとんどです
    options.add_argument('--headless')            
    options.add_argument('--disable-gpu')                      
    options.add_argument('--disable-extensions')               
    options.add_argument('--single-process')               
    options.add_argument('--proxy-server="direct://"')         
    options.add_argument('--proxy-bypass-list=*')              
    options.add_argument('--blink-settings=imagesEnabled=false')
    options.add_argument('--lang=ja')                          
    options.add_argument('--no-sandbox')
    options.add_argument('--disable-dev-shm-usage')
    options.add_argument("--log-level=3")
    options.add_argument("--disable-logging")
    options.add_argument('--user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.150 Safari/537.36')
    options.add_experimental_option("excludeSwitches", ["enable-automation"])
    options.add_experimental_option('useAutomationExtension', False)
    options.page_load_strategy = 'eager'
    
    # WEBブラウザとWEBドライバの場所を指定（GoogleCloudFunction用）
    options.binary_location=os.getcwd()+"/headless-chromium"
    driver = webdriver.Chrome(os.getcwd()+"/chromedriver",options=options)
    # ↑2行をコメントアウトして以下1行に置き換えるとWindowsPC等他の環境でも動きます。
    #driver = webdriver.Chrome(options=options)
    
    #スクレイピングするURL
    url = 'スクレイピングするURL'
    driver.get(url)
    driver.implicitly_wait(5)  # 見つからないときは、5秒まで待つ

    #ここからスクレイピングを行う処理(省略してあります)
    #ログイン作業
    login_url = driver.find_element(By.XPATH, '//*[@id="loginField"]/dl/dt/a')
    login_url.click()

    input_id       = driver.find_element(By.NAME, 'ACCOUNTUID')
    input_password = driver.find_element(By.NAME, 'PASSWORD')
    
    id = os.environ.get('USER_ID')
    pw = os.environ.get('PASSWORD')

    input_id.send_keys(id)
    input_password.send_keys(pw)

    login_btn = driver.find_element(By.ID, 'uid_submit')
    login_btn.click()

    #ログイン後の画面をスクレイピング
            
    return 取得した情報    

def main(request):
    channel_secret = os.environ.get('CHANNEL_SECRET')
    channel_access_token = os.environ.get('CHANNEL_ACCESS_TOKEN')

    line_bot_api = LineBotApi(channel_access_token)
    parser = WebhookParser(channel_secret)

    body = request.get_data(as_text=True)
    hash = hmac.new(channel_secret.encode('utf-8'),
        body.encode('utf-8'), hashlib.sha256).digest()
    signature = base64.b64encode(hash).decode()

    if signature != request.headers['X_LINE_SIGNATURE']:
        return abort(405)

    try:
        events = parser.parse(body, signature)
    except InvalidSignatureError:
        return abort(405)


    for event in events:
        if not isinstance(event, MessageEvent):
            continue
        if not isinstance(event.message, TextMessage):
            continue

        user_message = event.message.text  # ユーザーからのメッセージを取得

        # ユーザーのメッセージに基づいて条件分岐し、応答を決定
        if "xxx" in user_message:
            str_list = scraping()
            
            response_message = ''
            
            for str in str_list:
                response_message += str
                
        else:
            response_message = "xxx"

        # LINE API を使用して応答メッセージを送信
        line_bot_api.reply_message(
            event.reply_token,
            TextSendMessage(text=response_message)
        
        )
    return jsonify({ 'message': 'ok'})

line-bot-sdk

gcloud functions deploy func --entry-point=main --runtime=python39 --trigger-http --allow-unauthenticated --region=asia-northeast1 --memory=512MB --timeout=540 --set-secrets="USER_ID=USER_ID:1,PASSWORD=PASSWORD:1,CHANNEL_ACCESS_TOKEN=CHANNEL_ACCESS_TOKEN:1,CHANNEL_SECRET=CHANNEL_SECRET:1"

試したこと・調べたこと

• teratailやGoogle等で検索した
• ソースコードを自分なりに変更した
• 知人に聞いた
• その他

上記の詳細・結果

以下のサイトを参考に関数を作成し、デプロイしようとしました。
https://somnia.jp/hobby/bunseki_gc_init3/

このサイトと全く同じ関数で同じコマンドで試した場合はデプロイできました。

補足

もしかしたらスクレイピングする部分に問題があるかもしれないので、(省略してあります)と書いてありますが、一部載せておきます。
簡単に言うと、サイトにログインし、ログイン後の画面からスクレイピングで情報を抜き出しています。

Answer 1

自己解決しました。
webdriver内のfirefoxディレクトリを消去し、init.pyからfirefoxをimportしている行を削除したらデプロイできました。