株価予測のプログラミング

Question

###前提・実現したいこと
完全プログラミング初心者です。
Anaconda上でspyder(python)を使い日経平均株価を予測するプログラミングを作ろうとしています。ネットで拾ったコードを基にanacondaで仮想環境を構築し実行したら以下のエラーがでました。原因は何でしょうか？

##発生している問題・エラーメッセージ

エラーメッセージ
ValueError: Expected 2D array, got 1D array instead:
array=[ 17353.66  17091.58  17237.76 ...,  22913.82  22868.71  22681.42].
Reshape your data either using array.reshape(-1, 1) if your data has a single feature or array.reshape(1, -1) if it contains a single sample.

###該当のソースコード

import pickle
from pathlib import Path

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
from keras.layers import Input, Dense, LSTM
from keras.models import Model
from keras.callbacks import CSVLogger
from sklearn.preprocessing import StandardScaler


def read_data():
    paths = Path('.').glob('./indices_I101_1d_*.csv')
    df = pd.concat([pd.read_csv(p, index_col='日付', parse_dates=True, encoding='cp932')
                    for p in paths])
    df = df.sort_index()
    closes = df['終値'].values
    return closes


def create_model():
    inputs = Input(shape=(10, 1))
    x = LSTM(300, activation='relu')(inputs)
    price = Dense(1, activation='linear', name='price')(x)
    updown = Dense(1, activation='sigmoid', name='updown')(x)
    model = Model(inputs=inputs, outputs=[price, updown])
    model.compile(loss={
        'price': 'mape',
        'updown': 'binary_crossentropy',
    }, optimizer='adam', metrics={'updown': 'accuracy'})
    return model


def build_train_test_data(base_data):
    scaler = StandardScaler()
    data = scaler.fit_transform(base_data)
    x_data = []
    y_data_price = []
    y_data_updown = []
    for i in range(len(data) - 10):
        x_data.append(data[i:i + 10])
        y_data_price.append(data[i + 10])
        y_data_updown.append(int((base_data[i + 10 - 1] - base_data[i + 10]) > 0))
    x_data = np.asarray(x_data).reshape((-1, 10, 1))
    y_data_price = np.asarray(y_data_price)
    y_data_updown = np.asarray(y_data_updown)
    train_size = int(len(data) * 0.8)
    x_train = x_data[:train_size]
    y_train_price = y_data_price[:train_size]
    y_train_updown = y_data_updown[:train_size]
    x_test = x_data[train_size:]
    y_test_price = y_data_price[train_size:]
    y_test_updown = y_data_updown[train_size:]
    return x_train, y_train_price, y_train_updown, x_test, y_test_price, y_test_updown, scaler


def main():
    model = create_model()
    data = read_data()
    x_train, y_train_price, y_train_updown, x_test, y_test_price, y_test_updown, scaler = \
        build_train_test_data(data)
    model.fit(x_train, [y_train_price, y_train_updown],
              validation_data=(x_test, [y_test_price, y_test_updown]), epochs=100, batch_size=10,
              callbacks=[CSVLogger('train.log.csv')])
    model.save('model.h5')
    with open('scaler.pkl', 'wb') as f:
        pickle.dump(scaler, f, protocol=pickle.HIGHEST_PROTOCOL)
    pred = model.predict(x_test)[0][:, 0].reshape(-1)
    pred = scaler.inverse_transform(pred)
    y_test_price = scaler.inverse_transform(y_test_price.astype('float64'))
    result = pd.DataFrame({'pred': pred, 'test': y_test_price})
    result.plot()
    plt.show()


if __name__ == '__main__':
    main()

###補足情報(言語/FW/ツー　ル等のバージョンなど)

Comments

[_Victorique__]

原因はエラーメッセージに書いてありますよ。それを読んでも原因が何か理解出来ないのですか？

Answer 1

英語が読めなくてもGoogle翻訳に尋ねればそれなりに翻訳されます。

ValueError：2D配列が必要です。代わりに1D配列があります：
配列= [17353.66 17091.58 17237.76 ...、22913.82 22868.71 22681.42]。
データに単一のフィーチャがある場合はarray.reshape（-1、1）、単一のサンプルが含まれている場合はarray.reshape（1、-1）を使用してデータを変更します。

ここでいうフィーチャとサンプルは、それぞれ
フィーチャ、

[[1],
 [2],
 [3],
 ...]

サンプル

[[1, 2, 3...]]

要するに2次元の配列が入力なのに、1次元配列が来たから、これを1つの塊として認識すべきか、個別のものとして認識すべきか、困ったと言っています。

本来このエラーはどこの行で起きたのか、書かれているはずなのですが。
それがないので、どうなおすべきかもわかりません。

がんばって推理してみるのであれば、main関数の中の

def main():
    ....
    pred = model.predict(x_test)[0][:, 0].reshape(-1)
    pred = scaler.inverse_transform(pred)
    y_test_price = scaler.inverse_transform(y_test_price.astype('float64'))
    ....

あたりが怪しいように思います。
データもないので確かめようがありませんが。

ちなみに、万が一こちらが原因だった場合、sklearnのバージョンが新しいせいです。
0.19以後ValueErrorが出るようになります。
その場合は.reshape(-1, 1)をうまく使ってください。

自分で修正するのが困難で、かつコードが動きさえすればよいのであれば、バージョンを古いものに変更することで実行できるかもしれません。

conda install --force scikit-learn=0.18.2

もともとのコードが動くものであれば……。

Comments

[tubamed]

詳しくありがとうございます。これを基にがんばります

[tubamed]

バージョンを古いものにしたらできました！

[mkgrei]

scikit-learnの仕様変更のせいですね。
英語版の詳しい？解決法しか見つけられませんでした。
https://stackoverflow.com/questions/35082140/preprocessing-in-scikit-learn-single-sample-depreciation-warning

新しいバージョンだとブログ等で見つかる古いコードが走らない可能性が高いですね。
自分で修正できるようになるまで、古いバージョンでやり過ごして、余裕が出た頃に新しいバージョンに移行するとよいかと。