flaskを使用した並列のスクレイピングプログラムが途中で止まってしまう

Question

実現したいこと

flaskを使用して特定のページでの動作を自動化したい
並列化しないで平文の場合は問題なく動くのだが、サーバ内で並列処理を行うと途中で処理が終了してしまう
(処理でエラーを吐くわけではなく、タイムアウトになってしまう)

前提

さくらのVPSでubuntuのサーバ内にflaskのアプリケーションを構築して特定のページのスクレイピングを行っています。

発生している問題・エラーメッセージ

アプリ化しないで通常のpythonコードとしてサーバ内で実行してもエラーを吐かないのですが、
API化して並列実行するとタイムアウトエラーが起きてしまいます。
サーバのスペック的にも問題はないと思うので解決方法を教えてほしいです。

該当のソースコード

import time
import json
import queue
import requests
import concurrent.futures
from flask import Flask, request, jsonify
from multiprocessing import Pool, Manager
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.common.exceptions import TimeoutException


@app.route('/sample_api', methods=["POST"])
def sample_api():
    data = request.get_json(force=True)

    with Pool(4) as p:
        p.map(mult_task, data)

    return 'OK'


def mult_task(req):
    options = webdriver.ChromeOptions()
    UA = 'Sample'
    options.add_argument('--headless')
    options.add_argument('--user-agent=' + UA)
    options.add_argument('--no-sandbox')
    options.add_argument('--disable-gpu')
    options.add_argument('--disable-popup-blocking')

    driver = webdriver.Chrome(executable_path='/usr/local/bin/chromedriver', options=options)
    driver.set_window_size(1200, 1000)
    wait = WebDriverWait(driver=driver, timeout=240)

    retries = 0

    while retries < 3:
        err_postion = 0
        try:
            driver.get('https://www.sample.com')

            app.logger.error('成功')
            driver.close()
            break

        except Exception as e:
            # If an error occurs, increment the retry counter and try again
            retries += 1
            if retries == 3:
                driver.close()
                app.logger.error(err_postion)
                app.logger.error(f"Failed to process request after 3 attempts. Error: {e}")
            else:
                app.logger.error(err_postion)
                continue

    return 'OK'

試したこと

サーバのスペックは4Core, RAM4GBです。
他に必要な情報があればコメントしていただければ追記いたしますのでよろしくお願いいたします。

Answer 1

構成が分からないので、構成を追加してください。

VPNということなので、何らかのWebサーバと、何らかのアプリケーションサーバを使っている物と思います。
タイムアウトということはどこかでタイムアウトしているので、どこでタイムアウトしているのかを特定してください。
Webサーバやアプリケーションサーバのログを見ると良いです。

タイムアウトが発生しているのは/sample_apiの呼び出しでしょうか？
今でもそうかは分かりませんが、ApacheやNginxを使う場合、タイムアウト時間は30秒か60秒か300秒か、なにか固定の値があったと思います。
/sample_apiの呼び出しにデフォルトのタイムアウト時間以上かかっているなら、タイムアウト時間を延ばすか別の実装にするしかありません。

FlaskはWebサーバやアプリケーションサーバで起動する場合、複数プロセスが起動するので、複数プロセスが起動するところでさらに並列か処理を実行するのは危険な気がします。
というか、現状では、呼び出しのたびに並列処理を実行しようとするのでリソースを食い潰して何もできなくなってもおかしくないので、別の方法が良いと思います。

なので、/sample_apiでは処理を受け付け、別の例えば/sample_viewみたいなので結果を閲覧するような実装に変えるのはどうでしょうか。

受け付けたリクエストを実際の処理するのは別だしのアプリでやればよいと思います。
その場合、前述した通りリクエスト受付した瞬間に全てやると、リソースを食い潰す可能性があるので、リクエストはなんらかのqueueに入れるなどで調整する必要があります。