HerokuでFlaskが上手く動作しない

Question

実現したいこと

HerokuでFlaskを使ったスクレイピングサイトを公開したいのですが、@app.route('/') から @app.route('/scraping', methods=["GET","POST"]) にページが遷移しません。エラーが出ていますが、ローカルでは作動しています。

追記:解答から、HerokuのBuildpacksにバイナリを追加してページ遷移できるようになりましたが、スクレイピングができません。
tracebackでsession deleted because of page crashととエラーの内容が出てきました。

前提

web: gunicorn app:app --log-file=-
web: gunicorn --worker-class=gevent --worker-connections=1000 --workers=3 app:app
web: gunicorn app:app --timeout 300

from selenium import webdriver
import time
from selenium.webdriver.chrome.options import Options
import re
import chromedriver_binary

options=Options()
options.add_argument('--headless')                         
options.add_argument('--disable-gpu')                      
options.add_argument('--disable-extensions')               
options.add_argument('--proxy-server="direct://"')         
options.add_argument('--proxy-bypass-list=*')              
options.add_argument('--blink-settings=imagesEnabled=false')
options.add_argument('--lang=ja')                          
options.add_argument('--no-sandbox')
options.add_argument('--disable-dev-shm-usage')
options.add_argument("--log-level=3")
options.add_argument('--user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.150 Safari/537.36')
options.add_experimental_option("excludeSwitches", ["enable-automation"])
options.add_experimental_option('useAutomationExtension', False)
options.page_load_strategy = 'eager'
driver = webdriver.Chrome(options=options)

def amazon(word):
    try:
        print("Amazon_スクレイピング開始")
        driver.get("https://www.amazon.co.jp/")

　　　　　省略

        list_amazon=["【Amazon】",product_name_amazon.text,"￥"+price_amazon.text,shipping_fee_amazon.contents[1].text,point_amazon[0],url_amazon]

        print("Amazon_スクレイピング完了")

    except:
        print("Amazon_スクレイピング失敗")
        list_amazon=["【Amazon】","-","-","-","-","-"]

    return list_amazon

from flask import Flask, render_template,request
import os

app = Flask(__name__)


@app.route('/')
def index():
    return render_template('index.html')


@app.route('/scraping', methods=["GET","POST"])
def do_scraping():
    import amazon
    word=request.form["search_word"]

    list_amazon = amazon.amazon(word)

    return render_template('result.html',word=word,list_amazon=list_amazon)

if __name__ == "__main__":
    app.run(host="0.0.0.0", port=int(os.environ.get("PORT", 5000)), debug=True)

発生している問題・エラーメッセージ

ターミナルでheroku logs --tail --app test2ee を入力するとこのようなlogになっています。(https://ddjkaamml8q8x.cloudfront.net/questions/2023-12-04/64b9aae4-f2a1-4801-9389-ef441c194454.jpeg)

追記:
解答から修正し、再びlogを見ると以下のようなエラーが出ました。
(https://ddjkaamml8q8x.cloudfront.net/questions/2023-12-04/30ad711f-32ad-4fa0-8819-86e3e75a0a94.jpeg)
(https://ddjkaamml8q8x.cloudfront.net/questions/2023-12-04/352f3528-96f5-45be-bd34-fe53f056c3ed.jpeg)

amazon.pyにコードを追加し、tracebackでsession deleted because of page crashととエラーの内容が出てきました。
(https://ddjkaamml8q8x.cloudfront.net/questions/2023-12-04/ddb9ce54-de39-4552-84cc-797f0c54d3ae.jpeg)

試したこと

FlaskはWebUIを使い、スクレイピングの処理(amazon.py)はWebSocketを使えばよいと考えましたが、よくわかりませんでした。おそらくターミナルのlogにエラー原因が書いてあるのですが、読み取ることができないので教えていただきたいです。

Comments

[1T2R3M4]

https://qiita.com/Hiromu1612/questions/9ff6e6681971565ae63e
以下ご対応ください。
https://teratail.com/help#posted-otherservice

Answer 1

ログを見ると、一番上に
selenium.common.exceptions.WebDriverException: Message: unknown error: cannot find Chrome binary
と表示され、エラーが発生しているのが分かります。
メッセージから、Chromeのバイナリファイルがないのが分かります。

また、2023-12-03T23:56:27.858471+00:00にStopping all processes with SIGTERMとあるので、全てのプロセスが止まっているのが分かります。

Herokuは無料版がなくなってしまったので試すことはできませんが、無料版の名残で検索するとそれなりに記事が引っかかります。

例えば、以下です。
Heroku + Selenium + ChromeでWEBプロセスを自動化する

上記サイトによると、ChromeとDriverの設定というのが必要そうです。

現在もあるか不明ですが、似たような事が必要と考えられますので、確認してみてはいかがでしょうか？

Comments

[S.H16]

回答ありがとうございます。HerokuのBuildpacksに追加してselenium.common.exceptions.WebDriverException: Message: unknown error: cannot find Chrome binaryはなくなりましたが、Stopping all processes with SIGTERMが治らず、おそらくこれが原因でスクレイピングが失敗してしまいます。どのようにすればよろしいでしょうか？
Herokuは学生プランで2年間無料で使える状態です。
@app.route('/scraping', methods=["GET","POST"]) でページ遷移はできるようになりました。

[S.H16]

amazon.pyにコードを追加し、tracebackでsession deleted because of page crashとエラーの内容が出てきました。（追記画像の３枚目）どのようにすればよいかご存じでしょうか。

[FiroProchainezo]

あ、スクレイピング先はAmazonでしたか…。
個人的に、Amazonは規約でスクレイピングを禁止しているように見えるため、お手伝いすることはできません。
申し訳ございませんが、ご了承ください。

回答とは関係ないですが、ログは画像ではなくテキストでご提供ください。
すさまじく読みにくいです。