質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

ただいまの
回答率

88.63%

pythonのcsv読み込みでconvertエラーが起きてしまう

受付中

回答 2

投稿 編集

  • 評価
  • クリップ 0
  • VIEW 845

hair

score 10

イメージ説明pythonを使いcsvに入ってる数値データをdeeplearningで学習させたい。

発生している問題・エラーメッセージ

実行すると
Traceback (most recent call last):
File "C:/Users/tennis/PycharmProjects/sisaku/gsush.py", line 58, in <module>
history = model.fit(x_train, y_train, batch_size=200, epochs=1000, verbose=1, validation_data=(x_test, y_test))
File "C:\Users\tennis\Anaconda3\envs\tensor\lib\site-packages\keras\engine\training.py", line 1037, in fit
validation_steps=validation_steps)
File "C:\Users\tennis\Anaconda3\envs\tensor\lib\site-packages\keras\engine\training_arrays.py", line 199, in fit_loop
outs = f(ins_batch)
File "C:\Users\tennis\Anaconda3\envs\tensor\lib\site-packages\keras\backend\tensorflow_backend.py", line 2666, in call
return self._call(inputs)
File "C:\Users\tennis\Anaconda3\envs\tensor\lib\site-packages\keras\backend\tensorflow_backend.py", line 2619, in _call
dtype=tf.as_dtype(tensor.dtype).as_numpy_dtype))
File "C:\Users\tennis\Anaconda3\envs\tensor\lib\site-packages\numpy\core\numeric.py", line 501, in asarray
return array(a, dtype, copy=False, order=order)
ValueError: could not convert string to float: 'v -0.670323 0.017320 2.448769¥nv -0.248426 0.066855 2.655411¥nv -0.634120 0.159561 2.476978'

と出てしまい実行できません
csvには最初にあるdonを除く800セルがあり、各セルには改行されている数値データが入っていて800セル全てを800個分のデータとして読み込ませたいのです。
解決方法を教えてください。

該当のソースコード

import pandas as pd
import os
from skimage import data
from sklearn.model_selection  import train_test_split
import numpy as np
from keras.models import Sequential
from keras.layers import Dense, Dropout
from keras.optimizers import RMSprop



d_data_set = pd.read_csv("tes.csv",  encoding="SHIFT-JIS")
d_data_set = d_data_set.replace('v', '')
d_data_set = d_data_set.replace('.', '')
d_data_set = d_data_set.replace('-', '')



search_dir = './image'
f = np.array([
    data.imread('{}/{}'.format(search_dir, path))
    for path in os.listdir(search_dir)
])


f = f.reshape(len(f), -1).astype(np.float64)

x = f
y = d_data_set.loc[:,"don"]

x_train, x_test, y_train, y_test = train_test_split(x, y,test_size=0.05)

model = Sequential()

model.add(Dense(50, activation="relu", input_shape=(817452,)))
model.add(Dropout(0.2))

model.add(Dense(50, activation="relu", input_shape=(817452,)))
model.add(Dropout(0.2))

model.add(Dense(50, activation="relu", input_shape=(817452,)))
model.add(Dropout(0.2))

model.add(Dense(1, activation='softmax'))

model.summary()
print("/n")

model.compile(loss='mean_squared_error', optimizer=RMSprop(), metrics=['accuracy'])

history = model.fit(x_train, y_train, batch_size=200, epochs=1000, verbose=1, validation_data=(x_test, y_test))

score = model.evaluate(x_test, y_test, verbose=0)
print("/n")
print("Test loss", score[0])
print("test accuracy", score[1])

search_dir = './sample'
kore = np.array([
    data.imread('{}/{}'.format(search_dir, path))
    for path in os.listdir(search_dir)
])


kore  = f.reshape(len(f), -1).astype(np.float64)

sample = kore
predict = model.predict_classes(kore.reshape(1, -1), batch_size=1, verbose=1)

print("/n")
print("サンプル出た")
print(predict)
print("/n")

試したこと

googleでエラー文で調べているのですがreplaceでやろうとしたのですが結果は変わりませんでした。
後から気付いたのですが実行するたびにエラー文の数値も変わります。

補足情報(FW/ツールのバージョンなど)

以下はcsvファイルをテキストエディタで開いた時のdonを除くセル5個分のデータです。
don
"v 0.310527 0.015296 0.505581
v 0.683512 -0.001598 0.216188
v 0.370806 0.149291 0.478181"
"v 0.313408 0.008205 0.505414
v 0.685073 -0.006196 0.214194
v 0.373934 0.142358 0.479367"
"v 0.304531 0.004002 0.505210
v 0.680174 -0.008961 0.219070
v 0.365913 0.138171 0.481338"
"v 0.297987 -0.006071 0.504920
v 0.676619 -0.010223 0.222481
v 0.357903 0.129184 0.483590"
"v 0.305034 -0.011075 0.504809
v 0.680596 -0.010772 0.218271
v 0.468077 0.124864 0.479119"

1セル3行で最初のdonを除くと800セルありますので2400行あります。
windows 10
python 3.5
pycharm
pycharmのsettingのline separatorではUnix and OS X(¥n)に設定しています。

  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 過去に投稿した質問と同じ内容の質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

質問への追記・修正、ベストアンサー選択の依頼

  • can110

    2018/12/29 19:19

    提示データ先頭3個と欲しい結果3個に相違があるようですが?

    キャンセル

  • hair

    2018/12/29 19:29

    申し訳ございません
    訓練データを後から修正しました。

    キャンセル

  • can110

    2019/01/01 17:45

    欲しいyの先頭の要素値が「v -0.036764 -0.010899 2.231005\nv 0.427776 -0.010899 2.145250\nv 0.025124 0.124968 2.238007」
    などのようであれば、replaceは不要なのでは?
    欲しい値と処理内容(上記の疑問に対する説明)を記載しないと適切な回答を得るのは難しいと思います。

    キャンセル

回答 2

+1

まず、以下のreplaceではデータフレームのセルの置き換えなので、今回のデータでは何もしません。

d_data_set = pd.read_csv("tes.csv",  encoding="SHIFT-JIS")
d_data_set = d_data_set.replace('v', '')
d_data_set = d_data_set.replace('.', '')
d_data_set = d_data_set.replace('-', '')

取り敢えずやりたいことは、文字列での置き換えと思うので、strアクセサを使って以下のように修正します。

d_data_set = pd.read_csv("tes.csv",  encoding="SHIFT-JIS")
d_data_set['don'] = d_data_set['don'].str.replace('v', '')
d_data_set['don'] = d_data_set['don'].str.replace('.', '')
d_data_set['don'] = d_data_set['don'].str.replace('-', '')

まだエラーが出ると思うので、データをどのようにしたいかを明確にしましょう。

投稿

編集

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2018/12/31 21:06

    set.replaceをset.str.replaceに変更すると
    AttributeError: 'DataFrame' object has no attribute 'str'
    この様なエラーが出ます。

    キャンセル

  • 2019/01/01 12:25

    Seriesにしないといけなかったので、回答を修正しました。

    キャンセル

  • 2019/01/01 15:26

    ['don'].str.replaceに変えてもエラーは変わらず出ます。

    キャンセル

0

'v' を削除するのは良いとして、
'.' や '-' を削除するとデータの意味がなくなると思うのですが大丈夫でしょうか。

例えば tes.csv を先頭部分の数行にして、セル内の改行を無くして試してみるのはいかがでしょう。

don
'v -0.670323 0.017320 2.448769v -0.248426 0.066855 2.655411v -0.634120 0.159561 2.476978'


この状態で 'v' を削除すればスペース区切りの小数値にはできるかと。

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

15分調べてもわからないことは、teratailで質問しよう!

  • ただいまの回答率 88.63%
  • 質問をまとめることで、思考を整理して素早く解決
  • テンプレート機能で、簡単に質問をまとめられる

関連した質問

同じタグがついた質問を見る