質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

ただいまの
回答率

87.33%

リッジ回帰しようとしたらValue Error???

解決済

回答 1

投稿

  • 評価
  • クリップ 0
  • VIEW 774

score 63

前提・実現したいこと

「東京大学のデータサイエンティスト育成講座」を使って、
現在機械学習の学習をしています。
その中でリッジ回帰の練習をしていたところ、
以下のエラーが起きました。

発生している問題・エラーメッセージ

ValueError                                Traceback (most recent call last)
<ipython-input-42-849a09ff5163> in <module>
     13 
     14 for model in [linear, ridge]:
---> 15     model.fit(X_train, y_train)
     16     print('{}(train):{:.6f}'.format(model.__class__.__name__, model.score(X_train, y_train)))
     17     print('{}(test):{:.6f}'.format(model.__class__.__name__, model.score(X_test, y_test)))

c:\users\jupyter-notebook\lib\site-packages\sklearn\linear_model\base.py in fit(self, X, y, sample_weight)
    461         n_jobs_ = self.n_jobs
    462         X, y = check_X_y(X, y, accept_sparse=['csr', 'csc', 'coo'],
--> 463                          y_numeric=True, multi_output=True)
    464 
    465         if sample_weight is not None and np.atleast_1d(sample_weight).ndim > 1:

c:\users\jupyter-notebook\lib\site-packages\sklearn\utils\validation.py in check_X_y(X, y, accept_sparse, accept_large_sparse, dtype, order, copy, force_all_finite, ensure_2d, allow_nd, multi_output, ensure_min_samples, ensure_min_features, y_numeric, warn_on_dtype, estimator)
    725         _assert_all_finite(y)
    726     if y_numeric and y.dtype.kind == 'O':
--> 727         y = y.astype(np.float64)
    728 
    729     check_consistent_length(X, y)

ValueError: could not convert string to float: '?'

該当のソースコード

autoの中身

#class for ridge regression
from sklearn.linear_model import Ridge
from sklearn.model_selection import train_test_split

#divide into training data and test data
X = auto.drop('price', axis=1)
y = auto['price']
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.5, random_state=0)

#construct and assess the model
linear = LinearRegression()
ridge = Ridge(random_state=0)

for model in [linear, ridge]:
    model.fit(X_train, y_train)
    print('{}(train):{:.6f}'.format(model.__class__.__name__, model.score(X_train, y_train)))
    print('{}(test):{:.6f}'.format(model.__class__.__name__, model.score(X_test, y_test)))

試したこと

astypeで全てのデータ型をfloat32に変えようとしたのですが、
同じエラーが起きました。

何卒宜しくお願い致します。

  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 過去に投稿した質問と同じ内容の質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

回答 1

checkベストアンサー

+2

おそらく、csv で欠損値が ? で表されてるので、float に変換しようとした際に ? を数値に変換できないとエラーになっているのではないでしょうか。

以下の質問内容のように read_csv する際に na_values を指定すればよいと思います。

df = pd.read_csv("csv のファイル名", na_values="?")

Python - Pythonのpandasを使って'?'の文字列が含まれている行を削除したい|teratail

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2019/08/16 17:37

    ご回答ありがとうございます!
    次はValueError: Input contains NaN, infinity or a value too large for dtype('float64').
    が出てきてしまいました(´;ω;`)

    キャンセル

  • 2019/08/16 17:43

    機械学習のアルゴリズムにデータを流す際は欠損値は補完または除去しておく必要があります。
    df.dropna(inplace=True) で欠損値が含まれる行を除去できます。

    お使いの参考書通りにやっているのだとしたら、参考書に書かれていないのでしょうか?

    キャンセル

  • 2019/08/19 09:28

    回答ありがとうございます!
    dropnaは出てきていませんでしたが、
    実行すると全て上手くいきました!
    大変にありがとうございます!!!

    キャンセル

15分調べてもわからないことは、teratailで質問しよう!

  • ただいまの回答率 87.33%
  • 質問をまとめることで、思考を整理して素早く解決
  • テンプレート機能で、簡単に質問をまとめられる

関連した質問

同じタグがついた質問を見る