python-学習時のエラー

Question

前提・実現したいこと

pythonで"ディープラーニングを使用して「あなたにそっくりな女優判別プログラム」を作ったおはなし"
リンク：https://qiita.com/k_eita/items/a50a4cae0aa2598422e4
というものを参考にしてシステムを作成しています。
numpyファイルを読み込もうとしていたら以下のエラーメッセージが発生しました。

発生している問題・エラーメッセージ

UserWarning: mkl-service package failed to import, therefore Intel(R) MKL initialization
ensuring its correct out-of-the box operation under condition when Gnu OpenMP had already been loaded by Python process is not assured. Please install mkl-service package, see http://github.com/IntelPython/mkl-service
from . import distributor_init
Traceback (most recent call last):
File "C:\Users\Owner\anaconda3\envs\cnn_env\lib\site-packages\numpy\core_init.py", line 22, in <module>
from . import multiarray
File "C:\Users\Owner\anaconda3\envs\cnn_env\lib\site-packages\numpy\core\multiarray.py", line 12, in <module>
from . import overrides
File "C:\Users\Owner\anaconda3\envs\cnn_env\lib\site-packages\numpy\core\overrides.py", line 7, in <module>
from numpy.core._multiarray_umath import (
ImportError: DLL load failed: 指定されたモ
ジュールが見つかりません。

During handling of the above exception, another exception occurred:

Traceback (most recent call last):
File "c:/Users/Owner/Documents/anaconda_vs/appale_project/use_cnn.py", line 4, in
<module>
import numpy as np
File "C:\Users\Owner\anaconda3\envs\cnn_env\lib\site-packages\numpy_init_.py",
line 145, in <module>
from . import core
File "C:\Users\Owner\anaconda3\envs\cnn_env\lib\site-packages\numpy\core_init_.py", line 48, in <module>
raise ImportError(msg)
ImportError:

IMPORTANT: PLEASE READ THIS FOR ADVICE ON
HOW TO SOLVE THIS ISSUE!

Importing the numpy C-extensions failed. This error can happen for
many reasons, often due to issues with your setup or how NumPy was
installed.

We have compiled some common reasons and troubleshooting tips at:

https://numpy.org/devdocs/user/troubleshooting-importerror.html

Please note and check the following:

• The Python version is: Python3.7 from

"C:\Users\Owner\anaconda3\envs\cnn_env\python.exe"

• The NumPy version is: "1.20.3"

and make sure that they are the versions you expect.
Please carefully study the documentation linked above for further help.

Original error was: DLL load failed: 指定
されたモジュールが見つかりません。

日本語訳：
UserWarning：mkl-serviceパッケージのインポートに失敗したため、Intel（R）MKLの初期化
Gnu OpenMPがPythonプロセスによってすでにロードされている条件下で、すぐに使用できる正しい操作を保証することは保証されていません。 mkl-serviceパッケージをインストールしてください。http：//github.com/IntelPython/mkl-serviceを参照してください。
から 。 import _distributor_init
トレースバック（最後の最後の呼び出し）：
<module>のファイル "C：\ Users \ Owner \ anaconda3 \ envs \ cnn_env \ lib \ site-packages \ numpy \ core \ __ init __。py"、22行目
から 。マルチアレイのインポート
<module>のファイル「C：\ Users \ Owner \ anaconda3 \ envs \ cnn_env \ lib \ site-packages \ numpy \ core \ multiarray.py」、12行目
から 。インポートオーバーライド
<module>のファイル "C：\ Users \ Owner \ anaconda3 \ envs \ cnn_env \ lib \ site-packages \ numpy \ core \ overrides.py"、7行目
numpy.core._multiarray_umathからインポート（
ImportError：DLLの読み込みに失敗しました：モニターされたモ
ジュールができます。

上記の例外の処理中に、別の例外が発生しました。

トレースバック（最後の最後の呼び出し）：
ファイル "c：/Users/Owner/Documents/anaconda_vs/appale_project/use_cnn.py"、4行目
<モジュール>
numpyをnpとしてインポート
ファイル "C：\ Users \ Owner \ anaconda3 \ envs \ cnn_env \ lib \ site-packages \ numpy \ __ init__。py"、
<モジュール>の145行目
から 。コアのインポート
<module>のファイル "C：\ Users \ Owner \ anaconda3 \ envs \ cnn_env \ lib \ site-packages \ numpy \ core \ __ init __。py"、48行目
ImportError（msg）を発生させます
ImportError：

重要：アドバイスについては、こちらをお読みください
この問題を解決する方法！

numpyC拡張機能のインポートに失敗しました。このエラーは次の場合に発生する可能性があります
多くの理由、多くの場合、セットアップの問題やNumPyの状態が原因です
インストールされています。

いくつかの一般的な理由とトラブルシューティングのヒントを次の場所にまとめました。

https://numpy.org/devdocs/user/troubleshooting-importerror.html

次の点に注意して確認してください。

• Pythonのバージョンは次のとおりです。Python3.7from

"C：\ Users \ Owner \ anaconda3 \ envs \ cnn_env \ python.exe"

• NumPyのバージョンは「1.20.3」です

そして、それらが期待するバージョンであることを確認してください。
さらにヘルプが必要な場合は、上記のリンク先のドキュメントを注意深く調べてください。

元のエラーは次のとおりでした：DLLのロードに失敗しました：
されたザルができます

該当のソースコード

from inspect import CORO_SUSPENDED
from re import escape
from traceback import print_exc
import numpy as np
import matplotlib.pyplot as plt
import keras
from keras.models import Sequential
from keras.layers import Conv2D, MaxPooling2D
from keras.layers import Activation, Dropout, Flatten, Dense
from keras.utils import np_utils
from keras.utils import plot_model
import os

#numpyファイルの読み込み
in_npy = "appalee.npz"

#出力するモデル名を指定
out_model = "appale_out.h5"

#CNN設定
CATEGORY_NUM = 5
BATCH_SIZE = 32
EPOCHS = 15
LEARNING_RATE = 0.0001

def main():
    #画像データの読み込み   
    data= np.load(in_npy)
    
    print(data.files)

    X_train = data['arr_0']
    X_val = data['arr_1']
    Y_train = data['arr_2']
    Y_val = data['arr_3']

    print(X_train.shape)
    print(X_val.shape)
    print(Y_train.shape)
    print(Y_val.shape)

    print(X_train.ndim)
    print(X_train.size)

    #正規化を行う（最大値：256で割って0~1に収束）
    X_train = X_train.astype("float")/ 256
    X_val = X_val.astype("float") / 256
    #ラベルをベクトルに変換
    Y_train = np_utils.to_categorical(Y_train, CATEGORY_NUM)
    Y_val = np_utils.to_categorical(Y_val, CATEGORY_NUM)

    #学習の実行
    model = model_train(X_train, Y_train, X_val, Y_val)

def model_train(X, Y, Xv, Yv):
    #モデルの定義
    model = Sequential()

    model.add(Conv2D(32, (3, 3), padding = 'same', input_shape = X.shape[1:]))
    model.add(Activation('relu'))

    model.add(Conv2D(32, (3, 3)))
    model.add(Activation('relu'))
    model.add(MaxPooling2D(pool_size = (2, 2)))
    model.add(Dropout(0.25))

    model.add(Conv2D(64, (3, 3), padding = 'same'))
    model.add(Activation('relu'))

    model.add(Conv2D(64, (3, 3)))
    model.add(Activation('relu'))
    model.add(MaxPooling2D(pool_size = (2, 2)))
    model.add(Dropout(0.25))

    model.add(Flatten())

    model.add(Dense(512))
    model.add(Activation('relu'))
    model.add(Dropout(0.5))
    model.add(Dense(CATEGORY_NUM))
    model.add(Activation('softmax'))

    #モデルの可視化
    plot_model(model, to_file='model_' + str(EPOCHS) +'.png')

    #最適化処理
    opt = keras.optimizers.rmsprop(lr = LEARNING_RATE, decay = 1e-6)

    #モデル最適化の宣言
    model.compile(loss= 'categorical_crossenttopy', optimizer = opt, metrics = ['accuracy'])

    #学習
    result = model.fit(X, Y, batch_size = BATCH_SIZE, epochs = EPOCHS, validation_data = (Xv, Yv))

    #モデルデータの保存 
    model.save('./ + out_model')

    #グラフ表示
    plt.plot(range(1, EPOCHS + 1), result.history['acc'], label = "train-acc")
    plt.plot(range(1, EPOCHS + 1), result.history['loss'], label = "train-loss")
    plt.plot(range(1, EPOCHS + 1), result.history['val_loss'], label = "val-loss")
    plt.title(out_model)
    plt.xlabel('Epochs')
    plt.ylabel('Accuracy')
    plt.legend()
    plt.show()

    return model

if __name__ == "__main__":
    main()

試したこと

・pythonとNumPyのバージョンが合っているかの確認
・conda list でmklがあるかの確認
・mklのダウングレード-->NotFoundで出来ず
・where mkl_intel_thread.dllで確認-->見つかりませんでした

補足情報（FW/ツールのバージョンなど）

・Python3.7.10 64bit
・仮想環境　anaconda3
・keras 2.4.3
・tensorflow 2.3.0
・matplotlib 3.3.4。

Comments

[jbpb0]

Numpy 1.20.0よりも古いのをどれか、たとえば

conda install numpy==1.19.2

とかで入れてもダメでしょうか？

https://zenn.dev/ymd_h/articles/934a90e1468a05
によると、Numpy 1.20.0で大幅な仕様変更があり、Numpyを使ってビルドされたものを使う場合は、ビルド時に使われたNumpyが1.20.0以降かどうかと、それを使う時のNumpyバージョンが1.20.0以降かどうかを合わせないといけないようです

> ・tensorflow 2.3.0

のリリースはNumpy 1.20.0のリリースよりも前なので、Numpy 1.20.0よりも古いのとの組み合わせじゃないと動かないようです

もしかしたら、逆にNumpy 1.20.0以降のとの組み合わせじゃないと動かないものがあるかもしれません
もしそういうのがあれば、それも古いバージョンに入れ替える必要があります
要するに、質問者さんのPythonに入っているものを全部、Numpy 1.20.0がリリースされる前に存在していたバージョンに入れ替える必要がある、ということです

[keita_kkk]

Numpyを1.19.2にしても変わりませんでした。
さらに、vscodeを起動してから1回目の実行では、
conda activate cnn_env
conda : 用語 'conda' は、コマンドレット、関数、スクリプト ファイル、または操作可能
なプログラムの名前として認識されません。名前が正しく記述されていることを確認し、パ
スが含まれている場合はそのパスが正しいことを確認してから、再試行してください。
発生場所 行:1 文字:1
+ conda activate cnn_env
+ ~~~~~
+ CategoryInfo : ObjectNotFound: (conda:String) [], CommandNotFoundE
xception
+ FullyQualifiedErrorId : CommandNotFoundException
のような表示がされました。

[jbpb0]

> Please install mkl-service package

conda list

でいろいろ表示される中で、「mkl」で始まるものがあれば、それのバージョンを全部教えてください

ちなみに、当方のWin 10パソコンのAnacondaに入ってるバージョンは下記の通りなので、このバージョンの組み合わせなら使えるはずです
これよりも新しいバージョンが入ってたら、下記のバージョンに合わせてみてください

numpy 1.19.2
mkl 2020.2
mkl-service 2.3.0
mkl_fft 1.3.0
mkl_random 1.1.1

最後の二つは無くてもたぶん大丈夫ですが、「mkl」と「mkl-service」は、もし入ってなければ、上記のバージョンのを入れてみてください

[keita_kkk]

mkl 2020.2 256
mkl-service 2.3.0 py37h196d8e1_0
mkl_fft 1.3.0 py37h46781fe_0
mkl_random 1.1.1 py37h47e9c7a_0

[keita_kkk]

すべて同じようです。

[jbpb0]

そうですね
それでも下記の表示は変わらず出ますか？

> mkl-service package failed to import, therefore Intel(R) MKL initialization
ensuring its correct out-of-the box operation under condition when Gnu OpenMP had already been loaded by Python process is not assured. Please install mkl-service package, see...

[keita_kkk]

はい。
UserWarning: mkl-service package failed to import, therefore Intel(R) MKL initialization ensuring its correct out-of-the box operation under
condition when Gnu OpenMP had already been loaded by Python process is not assured. Please install mkl-service package, see http://github.com/IntelPython/mkl-service
と出ます。

[keita_kkk]

どうやら、numpy1.20.3はopencvのダウンロードと同時にダウンロードされているようです。

[jbpb0]

> File "C:\Users\Owner\anaconda3\envs\cnn_env\lib\site-packages\numpy\core\init.py", line 22, in <module>

「cnn_env」という仮想環境でエラーが出てますけど、バージョンが古いNumpyを入れたり、「mkl」で始まるモジュールのバージョンを調べたりしたのは、その仮想環境を有効にした状態でですよね？

[jbpb0]

> numpy1.20.3はopencvのダウンロードと同時にダウンロードされている

それが起きたら、その都度Numpyを1.20よりも古いのに入れ直してください

また、OpenCVも、Numpy 1.20よりも古いバージョンとの組み合わせで動くものを入れてください
私の最初のコメントに書いたように、Numpy 1.20以前か以降か、どちらかの状態に全てを統一しないといけないのです

[keita_kkk]

python3.6.13にしたところうまくいきました！
しかし、学習を実行したところ前回の質問
https://teratail.com/questions/351106
のように
ValueError: Object arrays cannot be loaded when allow_pickle=False
となりました。
ちなみに、numpy配列を作った際は
reating an ndarray from ragged nested sequences (which is a list-or-tuple of lists-or-tuples-or ndarrays
with different lengths or shapes) is deprecated. If you meant to do this, you must specify 'dtype=object' when creating the ndarray
return array(a, dtype, copy=False, order=order, subok=True)
Success:create ./appale
(19, 60, 60, 3)
(2352,)
(19,)
となっています。

また、データを読み込んだ際にprint(data.files)を行ったところ
['arr_0']となっています

[keita_kkk]

すみません。上のValueErrrorは自己解決しました。
しかし、まだエラーはでているので、自分で一回調べてみてダメだったらまた質問します

[keita_kkk]

解決しました！環境が原因であったようです。ありがとうございました。

[keita_kkk]

jbpb0様のコメントを回答にしていただければ、ベストアンサーとし解決済みにしたいと思います。

[jbpb0]

私がここに書いたことのどれかが、解決に役立ったのでしょうか？

> python3.6.13にしたところうまくいきました！

で直ったのなら、それを書いて自己解決にしたらいいと思いますよ

[keita_kkk]

そうですね。では、自己解決とします

Answer 1

python3.6.13にし、モジュールをグレードダウン