CGIサーバーで動作するPythonのimportエラー

Question

前提・実現したいこと

site-packagesにインストールされたライブラリをimportしたpythonコード(FLASKを利用)を
CGIサーバーで実行したいと考えています。

環境

エックスサーバー
Python 3.7.6
Flask 1.1.1：WEBアプリケーションフレームワーク
Linuxbrew：パッケージ管理システム：

発生している問題・エラーメッセージ

site-packagesにインストールされたライブラリをimportしないときは、
ブラウザでアクセスしたときに意図した画面が表示されます。

site-packagesにインストールされたライブラリをimportするときは、
ブラウザでアクセスしたとき、500 internal server errorとなります。

該当のソースコード

index.cgi

#!/home/□□/.linuxbrew/bin/python3
from wsgiref.handlers import CGIHandler
from test import app
CGIHandler().run(app)

test.py

# coding: utf-8
from flask import Flask
import 〇〇

app = Flask(__name__)

@app.route("/")
def hello_world():
    return "Hello, World!"

試したこと

以下は仮想環境上で実施

####(1)意図したライブラリがインストールされていることを確認

pip3 freeze

####(2)意図したpythonが使用されていることを確認

python3 -v

####(3)ライブラリにパスが通っていることを確認
(3-1)コンソールを起動

python3 -v

(3-2)パスを確認

import sys
print(sys.path)

疑っているが、確認方法がわからないこと

CGIで起動したpythonコードからライブラリが見えていない
ただし、上記の(3-2)で絶対パスが合っていることは確認

補足情報

以下のサイトの手順で環境を構築しました。
https://datacoach.me/data/engineering/xserver-python-flask-env/
https://qiita.com/n-Taro/items/b50ebe49cacda7327aa2

Comments

[dodox86]

> CGIで起動したpythonコードからライブラリが見えていない
恐らく質問者さんのご想像のとおりimportでエラー（例外）が起きているのだと思いますが、
（XSERVERのエラーログに何か出力されているかもしれません）

> CGIで起動したpythonコードからライブラリが見えていない
> ただし、上記の(3-2)で絶対パスが合っていることは確認
ならば、FlaskのCGIでimport sys ... print(sys.path) 相当を実行した場合、つまりブラウザに出力されるようにして、どのようになるか確認されてはどうでしょうか。import 〇〇をせずに、です。（Flaskは分からないのとXSERVERの確認はできませんので、コメントのみ、です）

[flask_user]

ありがとうございます。
XSERVERのエラーログには「End of script output before headers: index.cgi」と出力されていました。
importでこのエラーが出る理由がよくわかりません。

import sysだけであれば、import 〇〇としないときと同様に、ブラウザでアクセスしたときに意図した画面が表示されました。

import sys ... print(sys.path)としたときは、import 〇〇としたときと同様に、ブラウザでアクセスしたとき、500 internal server errorとなりました。

[dodox86]

> importでこのエラーが出る理由がよくわかりません。
CGIで最低限出力されるべきヘッダー部 "Content-Type: ...." が出力される前に終わってしまっているのだと思います。だから、“ヘッダーの前にスクリプト終了”「End of script output before headers: index.cgi」と出ます。

print(sys.path)　でエラーが起きてるようですね。sys.pathが読めない（sysモジュールが使えなくなっている？）とか。

[flask_user]

ありがとうございます。
環境が壊れている可能性がありますね。
調べてみます。

[dodox86]

そうですね。標準のsysが使えないのはおかしいので、ご想像のとおり、site-packagesの導入でCGI実行時の環境が壊れてしまったような気がします。

Answer 1

私も同様の現象がありました。
具体的にはnumpyをインポートした際に起こり、
原因はnumpyのマルチスレッドで、エックスサーバー上でCGIプログラムが停止したためでした。
貴方のインポートしたいライブラリが何か分かりませんが、私の場合下記方法で解決しましたので参考にしてください。

index.cgiに下記を追記し、マルチスレッドを無効化。

import os
os.environ['OPENBLAS_NUM_THREADS'] = "1"

import numpy をプログラムの頭でなく関数内に書く
test.pyで言うと次の様にします

# coding: utf-8
from flask import Flask

app = Flask(__name__)

@app.route("/")
def hello_world():
    import numpy
    return "hello"