エラーの原因がわからない

Question

エラー
ValueError: Length mismatch: Expected axis has 1 elements, new values have 5 elements

読み込みデータ
date open high low close
2016-01-04 2703 2725 2663 2663
2016-01-05 2658 2669 2647 2647
2016-01-06 2649 2700 2614 2625
2016-01-07 2604 2624 2566 2569

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from sklearn import preprocessing
from keras.models import Sequential
from keras.layers.core import Dense, Activation
from keras.layers.recurrent import LSTM

class Prediction :

  def __init__(self):
    self.length_of_sequences = 10
    self.in_out_neurons = 1
    self.hidden_neurons = 300


  def load_data(self, data, n_prev=10):
    X, Y = [], []
    for i in range(len(data) - n_prev):
        X.append(data.iloc[i:(i+n_prev)].as_matrix())
        Y.append(data.iloc[i+n_prev].as_matrix())
    retX = np.array(X)
    retY = np.array(Y)
    return retX, retY


  def create_model(self) :
    model = Sequential()
    model.add(LSTM(self.hidden_neurons, \
              batch_input_shape=(None, self.length_of_sequences, self.in_out_neurons), \
              return_sequences=False))
    model.add(Dense(self.in_out_neurons))
    model.add(Activation("linear"))
    model.compile(loss="mape", optimizer="adam")
    return model


  def train(self, X_train, y_train) :
    model = self.create_model()
    # 学習
    model.fit(X_train, y_train, batch_size=10, nb_epoch=100)
    return model


if __name__ == "__main__":

  prediction = Prediction()

  # データ準備
  data = None
  for year in range(2015, 2016):
      data_ = pd.read_csv('1547_' + str(year) +  '.csv',encoding="shift_jis")
      data = data_ if (data is None) else pd.concat([data,data_])
  data.columns = ['date','open','high','low','close']
  data['date'] = pd.to_datetime(data['date'], format='%Y-%m-%d')
  
  # 終値のデータを標準化
  data['close'] = preprocessing.scale(data['close'])
  data = data.sort_values(by='date')
  data = data.reset_index(drop=True)
  data = data.loc[:, ['date', 'close']]

  # 2割をテストデータへ
  split_pos = int(len(data) * 0.8)
  x_train, y_train = prediction.load_data(data[['close']].iloc[0:split_pos], prediction.length_of_sequences)
  x_test,  y_test  = prediction.load_data(data[['close']].iloc[split_pos:], prediction.length_of_sequences)

  model = prediction.train(x_train, y_train)

  predicted = model.predict(x_test)
  result = pd.DataFrame(predicted)
  result.columns = ['predict']
  result['actual'] = y_test
  result.plot()
  plt.show()

Comments

[mather]

具体的にどの行でValueErrorが発生したのか書きましょう。
また、どこまでやってみてどの部分が解決できなかったか詳しく書いてください。

[R.Shigemori]

エラーメッセージには、エラーが生じたコード箇所などが掲載されるので、回答しやすくなります。掲載ができないようであれば、matherさまのいうように説明を付与したほうがいいでしょう。可能であれば、実行に用いたデータを掲載すると、エラーの再現ができるので更に回答を得やすくなるとおもいます。

[a11b]

すみません。肝心のところをのせていませんでした。

Answer 1

エラーはこの辺でしょうか?

data_ = pd.read_csv('1547_' + str(year) + '.csv',encoding="shift_jis")

  data = data_ if (data is None) else pd.concat([data,data_])

csvファイルからの読込みのようですが、データの区切りはどうなっていますか?
一般的には、カンマ(,) 区切りと思いますが、提示のデータ見た限りでは、スペースまたは、タブかと思います。その場合、ファイルオープン時に区切り記号の指定が必要と思います。read_csv() の引数として、タブならば、 (sep='\t') が必要と思います。
この辺、あまり詳しくないですが、参考情報として。

Comments

[a11b]

うまくいきました。ありがとうございます！