pythonでの機械学習

Question

https://github.com/tizuo/keras/blob/master/LSTM%20with%20multi%20variables.ipynb

このサイトにあるプログラムを使って機械学習をしたいのですが、CSVファイルを作るまではできたんですがプログラムが動かないです。
プログラム内で行数などの指定をしないといけないみたいなことをいわれたのですがわかりません。。。
わかる方がいたら教えてほしいです
このサイトにあったCSVファイルではプログラムが動きましたが自分で作ったのは動きませんでした

エラー文

File "auto_analyzer.py", line 189, in <module>
m.load_dataset()
File "auto_analyzer.py", line 77, in load_dataset
dataframe = pandas.read_csv(self.ifp, header=0).dropna()
File "C:\Users\shinozaki\Anaconda3\envs\jbmes\lib\site-packages\pandas\io\pars
ers.py", line 678, in parser_f
return _read(filepath_or_buffer, kwds)
File "C:\Users\shinozaki\Anaconda3\envs\jbmes\lib\site-packages\pandas\io\pars
ers.py", line 440, in _read
parser = TextFileReader(filepath_or_buffer, **kwds)
File "C:\Users\shinozaki\Anaconda3\envs\jbmes\lib\site-packages\pandas\io\pars
ers.py", line 787, in init
self._make_engine(self.engine)
File "C:\Users\shinozaki\Anaconda3\envs\jbmes\lib\site-packages\pandas\io\pars
ers.py", line 1014, in _make_engine
self._engine = CParserWrapper(self.f, **self.options)
File "C:\Users\shinozaki\Anaconda3\envs\jbmes\lib\site-packages\pandas\io\pars
ers.py", line 1708, in init
self._reader = parsers.TextReader(src, **kwds)
File "pandas_libs\parsers.pyx", line 539, in pandas._libs.parsers.TextReader.
cinit
File "pandas_libs\parsers.pyx", line 767, in pandas._libs.parsers.TextReader.
_get_header
UnicodeDecodeError: 'utf-8' codec can't decode byte 0x90 in position 0: invalid
start byte

Comments

[hayataka2049]

どのように実行したのかや、出たエラーなど詳細な情報を追記することで回答がつきやすくなります。

[tubusio]

わかりました。
ありがとうございます

Answer 1

self.ifpに渡しているファイルの文字コードがutf-8ではないのでは。

オプション引数で、encoding="sjis"と encoding="utf-8-sig"の指定を試してみてください。

https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.read_csv.html

Comments

[tubusio]

やってみます！
ありがとうございます！！！

[tubusio]

回答ありがとうございます！
すいません、、オプション引数というのはどこで入力すればいいのでしょうか、、
教えていただいたサイトを見てもあまりわからなくて、
普通にアナコンダプロント上でencoding="sjis"と打ってみたんですがエラーが出てしまいました。

[hayataka2049]

pandas.read_csv(self.ifp, header=0, encoding="sjis").dropna()

[tubusio]

ありがとうございます！！！

[tubusio]

試してみたんですが

'pandas.read_csv' は、内部コマンドまたは外部コマンド、
操作可能なプログラムまたはバッチ ファイルとして認識されていません。

とでてきました、、

[hayataka2049]

コマンドプロンプトから打ち込むのではなく、auto_analyzer.pyの該当箇所を書き換えてください。

[tubusio]

あ、なるほどです。
ありがとうございます

[tubusio]

おかげ様で一部のエラーは消えたんですがまた別のエラーが出てしまいました、、

File "auto_analyzer.py", line 190, in <module>
m.predict_ds()
File "auto_analyzer.py", line 152, in predict_ds
model = load_model(self.mfp)
File "C:\Users\shinozaki\Anaconda3\envs\jbmes\lib\site-packages\keras\engine\s
aving.py", line 417, in load_model
f = h5dict(filepath, 'r')
File "C:\Users\shinozaki\Anaconda3\envs\jbmes\lib\site-packages\keras\utils\io
_utils.py", line 197, in __init__
'Received: {}.'.format(type(path)))
TypeError: Required Group, str or dict. Received: <class 'bool'>.

[hayataka2049]

別の原因のエラーでしょうか。でしたら改めて別の質問を立てて頂いたほうが良いと思います。
ちゃんと動くようになるまでサポートする、というのはいろいろな面で厳しいです。

[hayataka2049]

できれば、質問を立て直す前にご自身でデバッグして、自分でエラーを解消できないか試してみてください。基本は自分でやることです。

[tubusio]

わかりました。
ここまで教えてくださってありがとうございます！
少し自分でがんばってみます！