pandas、numpyをインポートしたpythonファイルが正しく実行できない現象

Question

前提・実現したいこと

タイトルにある通り、インポートに「pandas」「numpy」を含んだファイルを実行できない状態です。

コードは以下のサイトを参考にしました。
https://algorithm.joho.info/machine-learning/python-scikit-learn-regression-multiple/

発生している問題・エラーメッセージ

& C:/Users/aaa/anaconda3/python.exe c:/Users/aaa/Desktop/Web_API_Test/predictive_analytics.py
C:\Users\aaa\anaconda3\lib\site-packages\numpy\__init__.py:143: UserWarning: mkl-service package failed to import, therefore Intel(R) MKL initialization ensuring its correct out-of-the box operation under condition when Gnu OpenMP had already been loaded by Python process is not assured. Please 
install mkl-service package, see http://github.com/IntelPython/mkl-service
  from . import _distributor_init
Traceback (most recent call last):
  File "c:/Users/aaa/Desktop/Web_API_Test/predictive_analytics.py", line 2, in <module>
    import pandas
  File "C:\Users\aaa\AppData\Roaming\Python\Python38\site-packages\pandas\__init__.py", line 16, in <module>
    raise ImportError(
ImportError: Unable to import required dependencies:
numpy:

IMPORTANT: PLEASE READ THIS FOR ADVICE ON HOW TO SOLVE THIS ISSUE!

Importing the numpy C-extensions failed. This error can happen for
many reasons, often due to issues with your setup or how NumPy was
installed.

We have compiled some common reasons and troubleshooting tips at:

    https://numpy.org/devdocs/user/troubleshooting-importerror.html

Please note and check the following:

  * The Python version is: Python3.8 from "C:\Users\aaa\anaconda3\python.exe"
  * The NumPy version is: "1.20.2"

and make sure that they are the versions you expect.
Please carefully study the documentation linked above for further help.

Original error was: DLL load failed while importing _multiarray_umath: 指定されたモジュールが見つかりません。

該当のソースコード

# -*- coding: utf-8 -*-
import pandas
import numpy
from sklearn import linear_model
from sklearn.externals import joblib

data = pandas.read_csv("c:\Users\aaa\Desktop\Web_API_Test\dataset.csv", sep=",")

clf = linear_model.LinearRegression()

X = data.loc[:, ["temperature","humidity","illuminance,co2","discomfort_index","discomfort_level"]].values
Y = data["how_crowded"].values

clf.fit(X,Y)

a = clf.coef_
b = clf.intercept_

print("回帰係数:", a)
print("切片:", b)
print("決定係数:", clf.score(X, Y))

joblib.dump(clf, 'multiple.learn')

試したこと

numpyの再インストールや、バージョンの確認など調べた対策はできる限り施してみました。
個人的に、numpyがcondaとpipでごっちゃになってる感じはしてます。（直し方が分からない）
間違っているかもしれません。

補足情報（FW/ツールのバージョンなど）

Anaconda Promptにて以下を実行しnumpyを確認。

> ipython
In[1]:import numpy as np
In[2]:np.test()

-------------------------------------------------------------------------------
ModuleNotFoundError                       Traceback (most recent call last)
<ipython-input-2-c9f625191c23> in <module>
----> 1 np.test()

~\anaconda3\lib\site-packages\numpy\_pytesttester.py in __call__(self, label, verbose, extra_argv, doctests, coverage, durations, tests)
    138
    139         """
--> 140         import pytest
    141         import warnings
    142

ModuleNotFoundError: No module named 'pytest'

Answer 1

numpyの不整合が起きています。おそらく、

import numpy

という一行だけのプログラムでも同じエラーが起きる可能性が高いです。

Anacondaは整合性のあるnumpyなどを同梱していますので、こういう不整合が起こるのは、pipを使ってnumpyを別バージョンに置き換えるなどを行った結果でしょう。
エラーメッセージを見る限り、Basic Linear Algebra Subprograms（BLAS)の動的リンクライブラリの不整合と、BLASとOpenMPの不整合が起きているようです。

一旦Anacondaをアンインストールしてから、再度インストールすることを強くお勧めします。

Comments

[fukatani]

この回答の通り、Anacondaを使うときはとにかくpipをしないことが大事で、pipすると壊れる可能性があります。
個人的にはAnacondaを使うのを避けています。

[tasojiro]

ppaul様、fukatani様

なるほど。やはり、condaとpipの整合性が問題なのですね。
ちなみに、Anacondaをアンインストールしてその後の状態で足りないライブラリをpipのみでインストールしていく手法をとっても問題ないでしょうか？

どのサイトもライブラリをインストールする際にはpipでインストールしていることが多いので、統一するためにもと思いましたが、Anacondaのパッケージはいろいろとまとめられているので、０からpipでの埋め合わせは大変かと思いました。

[ppaul]

使用するライブラリが、pandas、numpy、scikit-learnだけならば、Anacondaをインストールして個別のライブラリをインストールせずにこのプログラムを実行すれば、問題なく動くでしょう。危ないのは、他のアプリを使うために何らかのライブラリをpipでインストールした場合に、numpyのようにCやFORANのライブラリをつかうPythonライブラリをバージョンアップしたりバージョンダウンした場合です。
Anacondaであぶないことをやりたい場合は、
conda create --name python38 python=3.8 anaconda
のような方法で、baseと同じライブラリの入ったconda環境を作ってそこで実験してみるというのも一つの方法ですが、こういうのはcondaの使い方に習熟してからやってください。

[tasojiro]

ppaul様

Anacondaを再インストールしcondaだけでやってみたいと思います。これからライブラリをインストールする場合はcondaで行う様にしていきたいと思います。（condaを習熟するためにも）

ありがとうございました！