翌日予測の結果の表示のエラー

Question

前提・実現したいこと

pycharm(python3.8,)を使い電力需要予測をやりました。
ランダムフォレストを使い、翌日の需要予測を繰り返し行う予定です。
このプログラムでは学習期間(train)と予測期間(test)にわけ、翌日予測を繰り返し行い、その度に学習期間を増えていくというプログラムを書いたつもりです。しかし予測結果が一日ごとに更新されてしまい、前の予測結果が消えてしまいます。今までの結果をすべてをグラフにあわらすことができません。今までの予測結果をすべて表す方法を知りたいです。

問題が発生してると思われる部分

ValueError: x and y must have same first dimension, but have shapes (3120, 1) and (2, 24)

plt.plot(x_pos_test,y_pred,'--') #の状態だとy_predが1日(24このデータ)しかないためエラーが出る。

該当のソースコード

import numpy as np
import pandas as pd
import seaborn as sb
import matplotlib.pyplot as plt
from datetime import datetime

df = pd.read_csv('data.csv')
df2 = pd.read_csv('demand_分類.csv',skiprows=1)  



print(df)
#print(df2)
df.columns = ['date','hour','demand','sea_pressure','pressure','wind1','wind2','temp',
             'RH','cloud1','cloud2','cloud3','cloud4','HP','SR','Ta','year','day2','hour2','number']   #1行目を列ラベルを置き換え
df2.columns = ['date2','hour2','HPあり','HPなし']
#print(df)
df.drop([0]).reset_index(drop = True)  #0,1行だけ駆除
#df.reset_index(drop = True) #index番号を振りなおす
df = df.drop(['sea_pressure','pressure','wind1','wind2',
             'RH','cloud1','cloud2','cloud3','cloud4','HP','SR','Ta','year','day2','hour2','number'],axis = 1)    #anxis=0だと横方向削除
df2.drop([0,1]).reset_index(drop = True)  #0,1行だけ駆除
df2 = df2.drop(['date2','hour2'],axis = 1)    #
df['HP_ari']=df2['HPあり']
df['HP_nasi']=df2['HPなし']
print(df)

#df.info()   #型などの情報が出る
df['datetime'] = pd.to_datetime(df['date'] + ' ' + df['hour'].astype(str) + ':00', format='%Y-%m-%d %H:%M')
print(df['datetime'])
df['平均気温(℃)']=pd.to_numeric(df['temp'])  #numeric　数字型(float64)
df['平均気温(℃)']=df['平均気温(℃)']-273.15
print(df)


#plt.figure(figsize=(8,4))
#plt.plot(df['datetime'],df['平均気温(℃)'])
#plt.show()

#print(df.describe())   #dfの詳細がわかる
df['POSIX']=df['datetime'].astype(np.int64).values//10**9    #datetime→POSIX型へ
x= df['POSIX'].values
y=df['demand'].values
N=len(x)    #xの長さがわかる(データの個数)
print(N)

len(x)*0.8

N_train = round(len(x)*0.8) #整数に　四捨五入
#print(N_train)
N_test = N-N_train
print(N_test)
x=x.reshape(-1,1)   #ランダムフォレストはreshape(-1,1)までの形に直す必要がある
y=y.reshape(-1,1)    #ランダムフォレストはreshape(-1,1)までの形に直す必要がある

for i in range(0,130,1): #range([開始,] 終了 [,ステップ])

 x_train,y_train = x[:N_train+i*24],y[:N_train+i*24] #多分1回ごとに訓練期間が1日分長くなる
 x_test,y_test = x[N_train:N_train+i*24+24],y[N_train:N_train+i*24+24] #多分1日予測を繰り返してる
 y_train=np.reshape(y_train,(-1))    #1次元に変換
 y_test=np.reshape(y_test,(-1))  #1次元に変換
print(x_train)
print('i',i)
from sklearn.ensemble import RandomForestRegressor
rf = RandomForestRegressor(random_state = 1)   
rf.fit(x_train,y_train)

y_pred = rf.predict(x_test)
y_pred_train = rf.predict(x_train)
#print(y_pred_train)

#精度比較
from sklearn.metrics import mean_absolute_error
mae=mean_absolute_error(y_test,y_pred)
def mean_absolute_percentage_error(y_test, y_pred):
    y_test, result = np.array(y_test), np.array(y_pred)
    return np.mean(np.abs((y_test - y_pred) / y_test)) * 100
mape = np.mean(np.abs((y_test - y_pred) / y_test)) * 100
print('MAPE:',mape)
print('MAE:',mae)
#特徴量に年を入れる
#df['year'] = df['datetime'].dt.year #年の特徴量
#月の特徴量
df['month']=df['datetime'].dt.month
#日の要素をデータフレームに加える
df['day']=df['datetime'].dt.day
#  曜日
df['dayofweek'] = df['datetime'].dt.dayofweek
x_pos = df['POSIX'].values
#x =df[['POSIX','year','month','day','dayofweek']].values
x =df[['POSIX','month','day','dayofweek']].values
y = df['demand'].values
x_pos=x_pos.reshape(-1,1)
x_pos_train,x_pos_test=x_pos[:N_train+i*24],x_pos[N_train:N_train+i*24+24] #xと同じ 正解データ
x=x
y=y.reshape(-1,1)
x_train, y_train = x[:N_train + i * 24], y[:N_train + i * 24]  # 多分1回ごとに訓練期間が1日分長くなる
x_test, y_test = x[N_train + i * 24:N_train + i * 24 + 24], y[N_train + i * 24:N_train + i * 24 + 24]  # 多分1日予測を繰り返してる
y_train=np.reshape(y_train,(-1))    #1次元に変換
y_test=np.reshape(y_test,(-1))  #1次元に変換
#機械学習パート
rf = RandomForestRegressor(random_state=1)

rf.fit(x_train,y_train)
y_pred=rf.predict(x_test)
y_pred=np.array(y_pred)

print('y_pred',y_pred)

print(x_test)
plt.figure(figsize=(9,5))
plt.plot(x_pos,y,color='gray',linestyle='dashdot')
plt.plot(x_pos_train,y_train,'+')
plt.plot(x_pos_test,y_pred,'--')
plt.show()

問題があれば回答をよろしくお願いします

Comments

[toast-uz]

「問題が発生してると思われる部分」が「該当のソースコード」にありません。
また「翌日予測を繰り返し行い、その度に学習期間を増えていくというプログラムを書いたつもり」とのことですが、そもそも予測部分rf.predictがループに入っていないので、予測は繰り返されていません。

[jun80]

失礼しました。問題が発生してると思われる部分」が「該当のソースコード」から抜けていました。抜けていたプログラムを載せました。
　そうなんですか。すいませんループの範囲がまだよくわかってなくて..

[toast-uz]

なるほど。Pythonの基本的な構造がまだわかっていないようでしたら、遠回りでも、それらを学習することをお勧めします。ループの範囲がよくわかっないない段階だと、「翌日の需要予測を繰り返し行う」ことを実現できるまで質疑で持っていくのは困難ですので。

Answer 1

現在のコードは、そもそも「翌日の需要予測を繰り返し行う」というものになっていません。
質問者様と対話したところ、まだPythonの基本構造をご理解されていない段階とのことです。一度、入門本を読んで、学習されることをオススメします。やりたいことが明確にある状態であるため、すぐに学習できると思います。

参考: Python本のオススメと絶対に挫折しないための学習方法とは

現在のループ構造部分。訓練データとテストデータを作成して、使わずに捨てて、というのをループ完了まで繰り返してしまっています。

for i in range(0,130,1): #range([開始,] 終了 [,ステップ])

 x_train,y_train = x[:N_train+i*24],y[:N_train+i*24] #多分1回ごとに訓練期間が1日分長くなる
 x_test,y_test = x[N_train:N_train+i*24+24],y[N_train:N_train+i*24+24] #多分1日予測を繰り返してる
 y_train=np.reshape(y_train,(-1))    #1次元に変換
 y_test=np.reshape(y_test,(-1))  #1次元に変換

現在の学習と予測部分。ここはループに含まれていませんので、当然、繰り返しは発生しません。上記のループ部分とあわせると、期間の最後の訓練データとテストデータを使って、1回だけ学習と予測していることになります。すなわち「前の予測結果が消えてしまいます」は当然の姿です。

rf.fit(x_train,y_train)
y_pred=rf.predict(x_test)

Comments

[jun80]

そうだったんですね。ありがとうございます。少し基本的な理解を深めてからプログラムを書いてみようと思います。