Xserverでnumpyを使う方法

前提・実現したいこと

xserverでdeep learningした結果をしゃべるbotを公開したいので、xserverでnumpyを使用したい

発生している問題・エラーメッセージ

xserverでチャットボットをつくって動かしたいと思ってます。
deep learningの結果を出力したいので、numpyを使用する必要があります。

学習はGPUを使用するのでローカル環境で行いますので問題なくできます。リモート環境では学習結果を利用するのみです。
xserverではlinuxbrewを使用して、その中にpython3.8を入れています。そこでpip3でnumpyをinstallしています。同様にしてflaskもpip3で入れています。numpyを使用しなければ問題なく意図した動きをしてくれますが、ファイル冒頭でimport numpyすると、500 internal server errorがでます。他のサイト当で調べて、os.environ['OPENBLAS_NUM_THREADS'] = "1"をindex.cgiに記載して、import numpyを関数内で行えばなんとか動きますが、これではimport numpyを何回もしなくていけなくなりますし、多くの箇所でimport numpyすると結局500 internal server errorがでてしまいます。冒頭でimport numpyを行ってnumpyを使用する方法はあるのでしょうか？
それとも、xserverでは使用上できなくなっているのでしょうか？
またlinaxbrewを使用して、xserverの元のpythonを使用していないのは、ルート権限がなく、pipできないためnumpyを使用できないとの情報のためです。
上記を動かしているのは、サブドメインのapp.amustall.com/zerobotの中です。
もし詳しい方がいましたら上記内容の解決方法があればご教授ください。

xserverのエラーのログは
end of script output before headersです