flask runの場合の実行環境がpython3と異なる？

Question

前提・実現したいこと

仮想環境で、

flask run

を実行したときに、
ModuleNotFoundError: No module named 'psycopg2'
というエラーがでてしまいます。

一方で、同じプログラムを同じ環境で、

python3 app.py

と行うと正しく実行されるようです。

こちら、flask runの場合に、モジュールのインポートエラーが出てしまう理由としては、何が考えられるでしょうか？

他のサイトなどで、pipによるインストールが該当の仮想環境になっていないというケースがあるというのを聞き、

pip3 freeze

で確認しても、ただしくインストールがされているようでした。（そもそも、それだとインラインや、python3 app.pyで実行されるのも不思議。ありそうなのは、flask runの実行環境が、何かの設定でおかしな事になっているということでしょうか）

発生している問題・エラーメッセージ

Error: While importing "app", an ImportError was raised:

Traceback (most recent call last):
  File "/usr/local/lib/python3.7/site-packages/flask/cli.py", line 235, in locate_app
    __import__(module_name)
  File "/Users/osasai/Documents/01_Study/Python/project/flaskApp/app.py", line 2, in <module>
    import psycopg2
ModuleNotFoundError: No module named 'psycopg2'

該当のソースコード

from flask import Flask, render_template, request
import psycopg2
import psycopg2.extras

app = Flask(__name__)

conn = psycopg2.connect("dbname=flasknote")
cur = conn.cursor(cursor_factory=psycopg2.extras.DictCursor)

@app.route('/',methods=['GET'])
def index():
    cur.execute('SELECT * FROM messages')
    messages = cur.fetchall()
    messages = [ dict(message) for message in messages]
    return render_template('index.html', messages=messages)


@app.route('/post', methods=['GET'])
def form():
    if request.method == 'GET':
        return render_template('form.html')

試したこと

・pip3 freezeの実施
・PyCharmでのインラインでの実行（→エラーにならず、動きました）

補足情報（FW/ツールのバージョンなど）

MacOS Mojave
「PythonでWebサービスを作る Python3+Flaskで作るWebアプリケーション開発入門２　（中野 仁 著）」7.2章のテストコード

(flaskApp) OsamunoMacBook-Pro:flaskApp osasai$ pip3 freeze
Click==7.0
Flask==1.0.2
itsdangerous==1.1.0
Jinja2==2.10
MarkupSafe==1.1.1
psycopg2==2.7.7
psycopg2-binary==2.7.7
Werkzeug==0.15.1

Answer 1

考えていること

仮想環境と仮想ではない環境の両方から Flask を削除し、再度仮想環境に だけ Flask をインストールしたら、症状が改善するのではないかと考えております。

確認いただきたいこと

1, 2 が異なれば上記提案で症状が改善するのではないかと考えております。

1. which python3

以下の実行結果を教えていただけますでしょうか？

(仮想環境)$ which python3
実行結果 <-- これです。
(仮想環境)$ 

2. which flask と cat

シェバン を教えていただけますでしょうか？

(仮想環境)$ which flask
/path/to/flask
(仮想環境)$
(仮想環境)$ # which flask の実行結果を cat する。
(仮想環境)$ cat /path/to/flask
#!/path/to/python  <-- これです。
# -*- coding: utf-8 -*-
import re
import sys

from flask.cli import main

if __name__ == '__main__':
    sys.argv[0] = re.sub(r'(-script.pyw?|.exe)?$', '', sys.argv[0])
    sys.exit(main())
(仮想環境)$

3. sys.path

あまり関係ないかもしれませんが、以下のコードの実行結果も合わせて教えていただけると幸いです。

(仮想環境)$ # 対話モードを開き
(仮想環境)$ python3
>>> # 以下のコードの実行結果を教えてください。

import sys
sys.path
print(*sys.path, sep="\n")

そのように考えた背景

ご提示いただいたエラーに "/usr/local/lib/python3.7/site-packages/flask/cli.py" という文字が見えます。これは仮想環境下ではない Flask が起動している可能性があるのではないかと疑っております、さらに、もしかしたら仮想環境下にない Python が起動している可能性があるのではないかと考えております。

Error: While importing "app", an ImportError was raised:

Traceback (most recent call last):
  File "/usr/local/lib/python3.7/site-packages/flask/cli.py", line 235, in locate_app
    __import__(module_name)
  File "/Users/osasai/Documents/01_Study/Python/project/flaskApp/app.py", line 2, in <module>
    import psycopg2
ModuleNotFoundError: No module named 'psycopg2'

Comments

[osasai]

ご回答ありがとうございます！
かなり、わかりやすくイメージをつかむことができました！

そして、おっしゃるとおり、Flaskをグローバルからアンインストールし、仮想環境のみにインストールし直したら、無事動くようになりました！

いったん、確認の部分、下記となりました。

■1. which python3
実行結果
(flaskApp) OsamunoMacBook-Pro:flaskApp osasai$ which python3
/Users/osasai/Documents/01_Study/Python/project/flaskApp/bin/python3

2. which flask と cat

(flaskApp) OsamunoMacBook-Pro:flaskApp osasai$ cat /Users/osasai/Documents/01_Study/Python/project/flaskApp/bin/flask
#!/Users/osasai/Documents/01_Study/Python/project/flaskApp/bin/python3
# -*- coding: utf-8 -*-
import re
import sys

from flask.cli import main

if __name__ == '__main__':
sys.argv[0] = re.sub(r'(-script.pyw?|.exe)?$', '', sys.argv[0])
sys.exit(main())

3. sys.path
/Library/Frameworks/Python.framework/Versions/3.7/lib/python37.zip
/Library/Frameworks/Python.framework/Versions/3.7/lib/python3.7
/Library/Frameworks/Python.framework/Versions/3.7/lib/python3.7/lib-dynload
/Users/osasai/Documents/01_Study/Python/project/flaskApp/lib/python3.7/site-packages
/Users/osasai/Documents/01_Study/Python/project/flaskApp/lib/python3.7/site-packages/psycopg2-2.7.7-py3.7-macosx-10.9-x86_64.egg
/Users/osasai/Documents/01_Study/Python/project/flaskApp/lib/python3.7/site-packages/psycopg2_binary-2.7.7-py3.7-macosx-10.9-x86_64.egg

[osasai]

ただ、この結果だけ見ると、flaskのシェバン（読み方初めて知りました）も、仮想環境側を見てそうなので、すこし不思議ではあります。

sys.pathの実行優先順位がグローバルになってしまっているのが原因なんでしょうかね？

[nico25]

> sys.path の実行優先順位がグローバルになってしまっているのが原因なんでしょうかね？
sys.path は先頭から参照されるため、sys.path の順番をいれかえただけでも正常に動作したのではと思います。ただ、直接誰が悪さをしているのかは、わかりません。

Flask は import が鬼門で python app.py と flask run で sys.path の内容が変わるので、そのあたりもお気をつけいただければと思います。

[osasai]

ありがとうございます！
やはりトライしてみないとわからないですね！非常に参考になりました！

[nico25]

恐れ入ります！