数字と文字列混同のcsvを読み込む際のstrの処理について

Question

pythonの本を読みながらコードの写しを行ったのですが本のように入力してもエラーが発生しました。
Iris-setosaではエラーが起こらず後の、Iris-versicolorの方でdtypeの型が違うというのが納得できないです。

import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score
import warnings
from sklearn.utils.testing import all_estimators

warnings.filterwarnings('ignore')

iris_data=pd.read_csv("iris.csv",encoding="utf-8",dtype = None)

#アヤメデータをラベルと入力データに分離する

y=iris_data.loc[:,"Name"]
x=iris_data.loc[:,["SepalLength","SepalWidth","PetalLength","PetalWidth"]]

x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.2, train_size=0.8, shuffle=True)

#classifierのアルゴリズムをすべて取得する
allAlgorithms = all_estimators(type_filter="classifier")
for(name,algorithm) in allAlgorithms:
    #各アルゴリズムのオブジェクトを作成
    clf = algorithm()

    #学習して評価する
    clf.fit(x_train,y_train)
    y_pred = clf.predict(x_test)
    print(name,"の正解率=",accuracy_score(y_test, y_pred))

AdaBoostClassifier の正解率= 0.9
BaggingClassifier の正解率= 0.9333333333333333
BernoulliNB の正解率= 0.26666666666666666
CalibratedClassifierCV の正解率= 0.8
---------------------------------------------------------------------------
ValueError                                Traceback (most recent call last)
<ipython-input-12-54ba1853272f> in <module>
     23 
     24     #学習して評価する
---> 25     clf.fit(x_train,y_train)
     26     y_pred = clf.predict(x_test)
     27     print(name,"の正解率=",accuracy_score(y_test, y_pred))

c:\users\hedgehog\appdata\local\programs\python\python37\lib\site-packages\sklearn\utils\mocking.py in fit(self, X, y, **fit_params)
     93             assert self.check_y(y)
     94         self.classes_ = np.unique(check_array(y, ensure_2d=False,
---> 95                                               allow_nd=True))
     96         if self.expected_fit_params:
     97             missing = set(self.expected_fit_params) - set(fit_params)

c:\users\hedgehog\appdata\local\programs\python\python37\lib\site-packages\sklearn\utils\validation.py in check_array(array, accept_sparse, accept_large_sparse, dtype, order, copy, force_all_finite, ensure_2d, allow_nd, ensure_min_samples, ensure_min_features, warn_on_dtype, estimator)
    494             try:
    495                 warnings.simplefilter('error', ComplexWarning)
--> 496                 array = np.asarray(array, dtype=dtype, order=order)
    497             except ComplexWarning:
    498                 raise ValueError("Complex data not supported\n"

c:\users\hedgehog\appdata\local\programs\python\python37\lib\site-packages\numpy\core\numeric.py in asarray(a, dtype, order)
    536 
    537     """
--> 538     return array(a, dtype, copy=False, order=order)
    539 
    540 

c:\users\hedgehog\appdata\local\programs\python\python37\lib\site-packages\pandas\core\series.py in __array__(self, dtype)
    726             warnings.warn(msg, FutureWarning, stacklevel=3)
    727             dtype = 'M8[ns]'
--> 728         return np.asarray(self.array, dtype)
    729 
    730     def __array_wrap__(self, result, context=None):

c:\users\hedgehog\appdata\local\programs\python\python37\lib\site-packages\numpy\core\numeric.py in asarray(a, dtype, order)
    536 
    537     """
--> 538     return array(a, dtype, copy=False, order=order)
    539 
    540 

c:\users\hedgehog\appdata\local\programs\python\python37\lib\site-packages\pandas\core\arrays\numpy_.py in __array__(self, dtype)
    169 
    170     def __array__(self, dtype=None):
--> 171         return np.asarray(self._ndarray, dtype=dtype)
    172 
    173     _HANDLED_TYPES = (np.ndarray, numbers.Number)

c:\users\hedgehog\appdata\local\programs\python\python37\lib\site-packages\numpy\core\numeric.py in asarray(a, dtype, order)
    536 
    537     """
--> 538     return array(a, dtype, copy=False, order=order)
    539 
    540 

ValueError: could not convert string to float: 'Iris-versicolor'
コード

SepalLength,SepalWidth,PetalLength,PetalWidth,Name
5.1,3.5,1.4,0.2,Iris-setosa
4.9,3.0,1.4,0.2,Iris-setosa
4.7,3.2,1.3,0.2,Iris-setosa
4.6,3.1,1.5,0.2,Iris-setosa
5.0,3.6,1.4,0.2,Iris-setosa
5.4,3.9,1.7,0.4,Iris-setosa
4.6,3.4,1.4,0.3,Iris-setosa
5.0,3.4,1.5,0.2,Iris-setosa
4.4,2.9,1.4,0.2,Iris-setosa
4.9,3.1,1.5,0.1,Iris-setosa
5.4,3.7,1.5,0.2,Iris-setosa
4.8,3.4,1.6,0.2,Iris-setosa
4.8,3.0,1.4,0.1,Iris-setosa
4.3,3.0,1.1,0.1,Iris-setosa
5.8,4.0,1.2,0.2,Iris-setosa
5.7,4.4,1.5,0.4,Iris-setosa
5.4,3.9,1.3,0.4,Iris-setosa
5.1,3.5,1.4,0.3,Iris-setosa
5.7,3.8,1.7,0.3,Iris-setosa
5.1,3.8,1.5,0.3,Iris-setosa
5.4,3.4,1.7,0.2,Iris-setosa
5.1,3.7,1.5,0.4,Iris-setosa
4.6,3.6,1.0,0.2,Iris-setosa
5.1,3.3,1.7,0.5,Iris-setosa
4.8,3.4,1.9,0.2,Iris-setosa
5.0,3.0,1.6,0.2,Iris-setosa
5.0,3.4,1.6,0.4,Iris-setosa
5.2,3.5,1.5,0.2,Iris-setosa
5.2,3.4,1.4,0.2,Iris-setosa
4.7,3.2,1.6,0.2,Iris-setosa
4.8,3.1,1.6,0.2,Iris-setosa
5.4,3.4,1.5,0.4,Iris-setosa
5.2,4.1,1.5,0.1,Iris-setosa
5.5,4.2,1.4,0.2,Iris-setosa
4.9,3.1,1.5,0.1,Iris-setosa
5.0,3.2,1.2,0.2,Iris-setosa
5.5,3.5,1.3,0.2,Iris-setosa
4.9,3.1,1.5,0.1,Iris-setosa
4.4,3.0,1.3,0.2,Iris-setosa
5.1,3.4,1.5,0.2,Iris-setosa
5.0,3.5,1.3,0.3,Iris-setosa
4.5,2.3,1.3,0.3,Iris-setosa
4.4,3.2,1.3,0.2,Iris-setosa
5.0,3.5,1.6,0.6,Iris-setosa
5.1,3.8,1.9,0.4,Iris-setosa
4.8,3.0,1.4,0.3,Iris-setosa
5.1,3.8,1.6,0.2,Iris-setosa
4.6,3.2,1.4,0.2,Iris-setosa
5.3,3.7,1.5,0.2,Iris-setosa
5.0,3.3,1.4,0.2,Iris-setosa
7.0,3.2,4.7,1.4,Iris-versicolor
6.4,3.2,4.5,1.5,Iris-versicolor
6.9,3.1,4.9,1.5,Iris-versicolor
5.5,2.3,4.0,1.3,Iris-versicolor
6.5,2.8,4.6,1.5,Iris-versicolor
5.7,2.8,4.5,1.3,Iris-versicolor
6.3,3.3,4.7,1.6,Iris-versicolor
4.9,2.4,3.3,1.0,Iris-versicolor
6.6,2.9,4.6,1.3,Iris-versicolor
5.2,2.7,3.9,1.4,Iris-versicolor
5.0,2.0,3.5,1.0,Iris-versicolor
5.9,3.0,4.2,1.5,Iris-versicolor
6.0,2.2,4.0,1.0,Iris-versicolor
6.1,2.9,4.7,1.4,Iris-versicolor
5.6,2.9,3.6,1.3,Iris-versicolor
6.7,3.1,4.4,1.4,Iris-versicolor
5.6,3.0,4.5,1.5,Iris-versicolor
5.8,2.7,4.1,1.0,Iris-versicolor
6.2,2.2,4.5,1.5,Iris-versicolor
5.6,2.5,3.9,1.1,Iris-versicolor
5.9,3.2,4.8,1.8,Iris-versicolor
6.1,2.8,4.0,1.3,Iris-versicolor
6.3,2.5,4.9,1.5,Iris-versicolor
6.1,2.8,4.7,1.2,Iris-versicolor
6.4,2.9,4.3,1.3,Iris-versicolor
6.6,3.0,4.4,1.4,Iris-versicolor
6.8,2.8,4.8,1.4,Iris-versicolor
6.7,3.0,5.0,1.7,Iris-versicolor
6.0,2.9,4.5,1.5,Iris-versicolor
5.7,2.6,3.5,1.0,Iris-versicolor
5.5,2.4,3.8,1.1,Iris-versicolor
5.5,2.4,3.7,1.0,Iris-versicolor
5.8,2.7,3.9,1.2,Iris-versicolor
6.0,2.7,5.1,1.6,Iris-versicolor
5.4,3.0,4.5,1.5,Iris-versicolor
6.0,3.4,4.5,1.6,Iris-versicolor
6.7,3.1,4.7,1.5,Iris-versicolor
6.3,2.3,4.4,1.3,Iris-versicolor
5.6,3.0,4.1,1.3,Iris-versicolor
5.5,2.5,4.0,1.3,Iris-versicolor
5.5,2.6,4.4,1.2,Iris-versicolor
6.1,3.0,4.6,1.4,Iris-versicolor
5.8,2.6,4.0,1.2,Iris-versicolor
5.0,2.3,3.3,1.0,Iris-versicolor
5.6,2.7,4.2,1.3,Iris-versicolor
5.7,3.0,4.2,1.2,Iris-versicolor
5.7,2.9,4.2,1.3,Iris-versicolor
6.2,2.9,4.3,1.3,Iris-versicolor
5.1,2.5,3.0,1.1,Iris-versicolor
5.7,2.8,4.1,1.3,Iris-versicolor
6.3,3.3,6.0,2.5,Iris-virginica
5.8,2.7,5.1,1.9,Iris-virginica
7.1,3.0,5.9,2.1,Iris-virginica
6.3,2.9,5.6,1.8,Iris-virginica
6.5,3.0,5.8,2.2,Iris-virginica
7.6,3.0,6.6,2.1,Iris-virginica
4.9,2.5,4.5,1.7,Iris-virginica
7.3,2.9,6.3,1.8,Iris-virginica
6.7,2.5,5.8,1.8,Iris-virginica
7.2,3.6,6.1,2.5,Iris-virginica
6.5,3.2,5.1,2.0,Iris-virginica
6.4,2.7,5.3,1.9,Iris-virginica
6.8,3.0,5.5,2.1,Iris-virginica
5.7,2.5,5.0,2.0,Iris-virginica
5.8,2.8,5.1,2.4,Iris-virginica
6.4,3.2,5.3,2.3,Iris-virginica
6.5,3.0,5.5,1.8,Iris-virginica
7.7,3.8,6.7,2.2,Iris-virginica
7.7,2.6,6.9,2.3,Iris-virginica
6.0,2.2,5.0,1.5,Iris-virginica
6.9,3.2,5.7,2.3,Iris-virginica
5.6,2.8,4.9,2.0,Iris-virginica
7.7,2.8,6.7,2.0,Iris-virginica
6.3,2.7,4.9,1.8,Iris-virginica
6.7,3.3,5.7,2.1,Iris-virginica
7.2,3.2,6.0,1.8,Iris-virginica
6.2,2.8,4.8,1.8,Iris-virginica
6.1,3.0,4.9,1.8,Iris-virginica
6.4,2.8,5.6,2.1,Iris-virginica
7.2,3.0,5.8,1.6,Iris-virginica
7.4,2.8,6.1,1.9,Iris-virginica
7.9,3.8,6.4,2.0,Iris-virginica
6.4,2.8,5.6,2.2,Iris-virginica
6.3,2.8,5.1,1.5,Iris-virginica
6.1,2.6,5.6,1.4,Iris-virginica
7.7,3.0,6.1,2.3,Iris-virginica
6.3,3.4,5.6,2.4,Iris-virginica
6.4,3.1,5.5,1.8,Iris-virginica
6.0,3.0,4.8,1.8,Iris-virginica
6.9,3.1,5.4,2.1,Iris-virginica
6.7,3.1,5.6,2.4,Iris-virginica
6.9,3.1,5.1,2.3,Iris-virginica
5.8,2.7,5.1,1.9,Iris-virginica
6.8,3.2,5.9,2.3,Iris-virginica
6.7,3.3,5.7,2.5,Iris-virginica
6.7,3.0,5.2,2.3,Iris-virginica
6.3,2.5,5.0,1.9,Iris-virginica
6.5,3.0,5.2,2.0,Iris-virginica
6.2,3.4,5.4,2.3,Iris-virginica
5.9,3.0,5.1,1.8,Iris-virginica

Comments

[can110]

sklearn=0.20.3においてエラー現象が再現しません。(正常に動作する)
今一度提示ソースとCSVが正しいか確認ください。

[chamhog]

https://github.com/kujirahand/book-mlearn-gyomu/blob/master/README.md
コードをここから引っ張って再び行ったところ、全く同じエラーが起きました

[can110]

コードがたくさんあってどれを実行したのか分かりません。

[chamhog]

book-mlearn-gyomu-master/book-mlearn-gyomu-master/src/ch2/select/Untitled.ipynb
のところにコードがあります。わかりにくい説明ですみません

[can110]

book-mlearn-gyomu-master/book-mlearn-gyomu-master/src/ch2/select/Untitled.ipynb
がみつかりません。http:// のリンク形式で示していただけますか？

[chamhog]

https://github.com/kujirahand/book-mlearn-gyomu/blob/master/src/ch2/select/selectAlgorithm.
こっちのほうが分かりやすいですね。以後、気を付けます

[can110]

404エラーになります。

[chamhog]

なぜかこちらも４０４エラーとなりましたので先にダウンロードしたところからコピーしました。
見苦しい形ですみませんでした

import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score
import warnings
from sklearn.utils.testing import all_estimators

import warnings
warnings.filterwarnings('ignore')

# アヤメデータの読み込み
iris_data = pd.read_csv("iris.csv", encoding="utf-8")

# アヤメデータをラベルと入力データに分離する
y = iris_data.loc[:,"Name"]
x = iris_data.loc[:,["SepalLength","SepalWidth","PetalLength","PetalWidth"]]

# 学習用とテスト用に分離する
warnings.filterwarnings('ignore')
x_train, x_test, y_train, y_test = train_test_split(x, y, test_size = 0.2, train_size = 0.8, shuffle = True)

# classifierのアルゴリズム全てを取得する --- (*1)
warnings.filterwarnings('ignore')
allAlgorithms = all_estimators(type_filter="classifier")

for(name, algorithm) in allAlgorithms:
# 各アリゴリズムのオブジェクトを作成 --- (*2)
clf = algorithm()

# 学習して、評価する --- (*3)
clf.fit(x_train, y_train)
y_pred = clf.predict(x_test)
print(name,"の正解率 = " , accuracy_score(y_test, y_pred))

[can110]

質問に提示のコードと同じということでしょうか。であれば当方ではやはり再現しません。

Answer 1

google翻訳
ValueError：文字列をfloatに変換できませんでした： 'Iris-versicolor'

まずはこのときに、Iris-versicolorに何が入ってるのか確認してみましょう

Comments

[chamhog]

Iris-versicolorに何が入ってるとはどうゆうことでしょうか。稚拙な質問かもしれませんが教えていただけるとありがたいです

[y_waiwai]

そのエラーが出る直前に実行を止め、Iris-versicolorのどの行でそのエラーが出るのかをまず特定しましょう。
そんでその行の内容を解析、ですね

[chamhog]

jupyterで実行しているのですが一度Runを行うと最後まで処理がされてしまいます。もしかしてこの部分のことなのでしょうか。間違っていたらすみません

c:\users\hedgehog\appdata\local\programs\python\python37\lib\site-packages\numpy\core\numeric.py in asarray(a, dtype, order)
536
537 """
--> 538 return array(a, dtype, copy=False, order=order)
539
540

[y_waiwai]

まず、Pythonをデバッグできる環境を導入しましょう
「python デバッグ」でぐぐると記事が出てきます
VisualStudioやEclipseでもデバッグできます
提示のエラーは、CSVの特定の行を読み込んだときに起こる実行時エラーなので、CSVのどの行でおかしくなるのかを特定します

[chamhog]

return array(a, dtype, copy=False, order=order)

pycharmでデバッグしたとこと、上の部分で左に雷マークがつく動作が見られました

[Reg_py]

全く同じエラー起きている人いた！！
ソシムのやつですよね？
解決したならば結局どのように改良したか教えていただけますでしょうか？