spaCyの言語モデルであるen_core_web_smが上手く読み込めません

Question

実現したいこと

spaCyの言語モデルであるen_core_web_smを読み取れるようにしたいです。

前提

FlaskアプリをEC2(ubuntu)上にデプロイしています。
サーバーはGunicornとnginxを利用しています。
サーバー上でspaCyの言語モデルであるen_core_web_smを利用したいのですがエラーが出てしまいます。

ローカル環境はpython3.1..1を使用しました。
本番環境ではpython3.11.6を使用しています。

発生している問題・エラーメッセージ

ローカル環境であるwindows上では上手く読み取ってくれますが、本番環境では上手く読み取れません。

Nov 26 12:45:58 ip-10-0-100-91 gunicorn[30523]:   File "/home/ubuntu/flask-app-project/apps/scrapy/views.py", line 86, in text_mining
Nov 26 12:45:58 ip-10-0-100-91 gunicorn[30523]:   File "/home/ubuntu/flask-app-project/my-flask-app/lib/python3.10/site-packages/spacy/__init__.py", line 51, in load
Nov 26 12:45:58 ip-10-0-100-91 gunicorn[30523]:     return util.load_model(
Nov 26 12:45:58 ip-10-0-100-91 gunicorn[30523]:   File "/home/ubuntu/flask-app-project/my-flask-app/lib/python3.10/site-packages/spacy/util.py", line 472, in load_model
Nov 26 12:45:58 ip-10-0-100-91 gunicorn[30523]:     raise IOError(Errors.E050.format(name=name))
Nov 26 12:45:58 ip-10-0-100-91 gunicorn[30523]: OSError: [E050] Can't find model 'en_core_web_sm'. It doesn't seem to be a Python package or a valid path to a data directory.
Nov 26 12:45:58 ip-10-0-100-91 gunicorn[30523]: 2023-11-26 12:45:58,798 INFO sqlalchemy.engine.Engine ROLLBACK

該当のソースコード

def text_mining(title_list, keyword, year1, year2):
    
    titles = [title for title in title_list]
    titles = ','.join(titles)
    
    
    # ロギングの初期化
    logging.basicConfig(filename='/path/to/your/logfile.log', level=logging.DEBUG)

    # SpaCyモデルのロード前にログメッセージを追加
    logging.debug("Loading SpaCy model...")

    # SpaCyモデルのロード
    nlp = spacy.load('en_core_web_sm')
    #nlp = spacy.load(r'/home/ubuntu/.local/lib/python3.11/site-packages/en_core_web_sm-3.7.1/meta.json')

    # SpaCyモデルのロード後にログメッセージを追加
    logging.debug("SpaCy model loaded successfully.")
    
    # テキストを解析
    doc = nlp(titles)

試したこと

ソースコードにも記載していますが、en_core_web_smのpathを直接記載してもダメでした。
しかし、ソースコードの関数のみのファイルを作成し、実行した結果上手く読み取ることができました。

補足情報（FW/ツールのバージョンなど）

仮想環境中のライブラリなどのファイルは「/python3.10/site-packages」下にインストールされており、
アプリもそのフォルダを参照しているように思えますが、spaCyのen_core_web_smは
「/python3.11/site-packages」下にインストールされているように思えます。
python3.11.6を利用しています。

Answer 1

エラーメッセージによると、 find model 'en_core_web_sm'.と言うことなので、en_core_web_smが見つからないようです。

en_core_web_smは知らないので適当にネットで検索すると、以下のサイトが引っかかりました。

spaCyで英語の文をトークナイズする方法を丁寧に

このページによると、

以下のようなモデル読み込みでエラーが出る場合、

import spacy
nlp = spacy.load('en_core_web_sm')

もしエラーが出る場合は，en_core_web_smのモデルがインストールされていないので，
python -m spacy download en_core_web_sm
でインストールしてください．

と、いう事らしいので、downloadすれば解決するんじゃないかと思います。

spaCyサイトのInstallation Quickstartで、選択すると環境によるコマンドがわかるようなので、最低限これはやらないとダメなんじゃないでしょうか？