FastAPIが高負荷に耐えられない

Question

### 前提・実現したいこと

高負荷に耐えられるAPIを作成したい

### 発生している問題・エラーメッセージ

```
Process SpawnProcess-1:
Traceback (most recent call last):
  File "C:\Users\ikki1\AppData\Local\Programs\Python\Python39\lib\multiprocessing\process.py", line 315, in _bootstrap
    self.run()
  File "C:\Users\ikki1\AppData\Local\Programs\Python\Python39\lib\multiprocessing\process.py", line 108, in run
    self._target(*self._args, **self._kwargs)
  File "C:\Users\ikki1\AppData\Local\Programs\Python\Python39\lib\site-packages\uvicorn\subprocess.py", line 61, in subprocess_started
    target(sockets=sockets)
  File "C:\Users\ikki1\AppData\Local\Programs\Python\Python39\lib\site-packages\uvicorn\main.py", line 419, in run
    loop.run_until_complete(self.serve(sockets=sockets))
  File "C:\Users\ikki1\AppData\Local\Programs\Python\Python39\lib\asyncio\base_events.py", line 629, in run_until_complete
    self.run_forever()
  File "C:\Users\ikki1\AppData\Local\Programs\Python\Python39\lib\asyncio\base_events.py", line 596, in run_forever
    self._run_once()
  File "C:\Users\ikki1\AppData\Local\Programs\Python\Python39\lib\asyncio\base_events.py", line 1854, in _run_once
    event_list = self._selector.select(timeout)
  File "C:\Users\ikki1\AppData\Local\Programs\Python\Python39\lib\selectors.py", line 324, in select
    r, w, _ = self._select(self._readers, self._writers, [], timeout)
  File "C:\Users\ikki1\AppData\Local\Programs\Python\Python39\lib\selectors.py", line 315, in _select
    r, w, x = select.select(r, w, w, timeout)
ValueError: too many file descriptors in select()
```

### 該当のソースコード

```Python3
from fastapi import FastAPI, Depends
import uvicorn

app = FastAPI()

@app.get("/user/{user_id}")
def hello(user_id):

    return r

if __name__ == "__main__":
    uvicorn.run("api:app", host="0.0.0.0", reload=True, port=80)
```

### 試したこと

reloadを消してみたりしましたがFastAPIなどでは正直耐えられない負荷は耐えられないというふうな結論が出そうだったのでどうにか高負荷に耐える方法があるかを教えてほしいです。
関数の処理内は消しています。ただ単純にthreading+requestsでストレステストを行ったら落ちてしまうため知ってる方が居たら助けていただけると助かります。

Answer

Rocky Linuxあたりで、Web ServerをさくらVPSのレンタルサーバーを借りてはいかがでしょうか？

FastAPIは、Go言語のGinフレーク並に高速で御座います。

Answer

uvicorn は解らないので、直接的な回答ではありませんが
イベントループのバックエンドに関して。
(select/epoll/kqueue/iocp/io_uring 等)

スケーラビリティに関するストレステストを行うなら、
uvicorn のイベントループに uvloop が使える環境の構築が必要そうです。

Windows に拘るなら、Windows の場合は IOCP で改善できるポイントですが、

- uvicorn のイベントループは uvloop, asyncio が選択できます。
　それぞれ、プラットフォーム毎にバックエンドが異なります。
- asyncio では、IOCP を用いた実装 ProactorEventLoop があり、
　python3.8 では windows では asyncio のデフォルトのイベントループ。
　ですが、uvicorn 側で SelectorEventLoop に強制的に戻されました。
　同時にそれまであった uvicorn/loops/iocp.py もサポートを外れたようです。

- uvloop は、windows ではインストール失敗
　インストール時ログ "uvloop does not support Window at the moment"

IOCP を選択するだけなら、uvicorn のループを asyncio にして、
asyncio のイベントループを ProactorEventLoop にする方法はあります。
但し、Python側のデフォルト挙動の変更が好ましくなかっただけのか、
他に問題があったのか、サポートが外れた理由は深く追ってません。
- [#529](https://github.com/encode/uvicorn/issues/529), [#535 drop IOCP](https://github.com/encode/uvicorn/pull/535)

----
サーバーのスケーラビリティに関して、
select での課題と、それに対する各プラットフォームでの解決策 
(epoll,kqueue,iocp ～) 辺りは概要だけでも把握しておくと良いです。

問題点は、FastAPI 自体ではなく、下のレイヤー (uvicorn/asyncio/select)

Linux だったとしても、uvicorn のループに
asyncio/SelectorEventLoop を使う構成であれば、select を使った実装になり、
同様のエラー (selectを使う際のスケーラビリティの問題) に遭遇するはずです。

敢えて解決策を挙げるなら、
質問の前提条件(windows)を覆すような回答に思われるかもしれませんが、
幅広くテストされてる環境(uvicornのループにuvloopが使える構成)を
構築されたほうが良いと思います。

Answer

せっかくfastapiでasgiと組み合わせているんだから
> def hello(user_id):

をまずは非同期

```ここに言語を入力
async def hello(user_id):
```

にしてはどうですか？

それからworkers[お手本通り](https://www.uvicorn.org/)４つぐらい生やしてみては？

Answer

FastAPI 云々ではなく、ファイルディスクリプタの limit に
引っかかっているのではないでしょうか。

ulimit -n でソフトリミットを確認、
ulimit -Hn でハードリミットを確認
として上限に達しているようならリミット値を上げてみてはどうでしょうか。

前提・実現したいこと

発生している問題・エラーメッセージ

該当のソースコード

試したこと

関連した質問