Python リストをデータフレームに変換したい

Question

前提・実現したいこと

以下の①～③を実現したいのですが、②、③が上手くいきません…。
自分で調べてもどうしてもわからなかったので、こちらに質問させて頂きました。
どなたかアドバイスを頂けますととても助かります。

①テストデータをfor文で少しずつずらしながら読み込み＆テストを行い、それぞれの予測値を空リストに入れる
②リストをデータフレームに変換する
③データフレームの内容をcsvファイルに落とし込む

発生している問題・エラーメッセージ

---------------------------------------------------------------------------
ValueError                                Traceback (most recent call last)
<ipython-input-80-8f68d0ddf9c8> in <module>()
----> 1 pred_test_df = pd.DataFrame(y_pred)
      2 print(pred_test_df)

2 frames
/usr/local/lib/python3.6/dist-packages/pandas/core/internals/construction.py in prep_ndarray(values, copy)
    293         values = values.reshape((values.shape[0], 1))
    294     elif values.ndim != 2:
--> 295         raise ValueError("Must pass 2-d input")
    296 
    297     return values

ValueError: Must pass 2-d input

該当のソースコード

import pandas as pd
import numpy as np
# データの読み込み
df = pd.read_csv("data.csv")
print(df.head)
#<bound method NDFrame.head of      Day  ...  Province No.17
#0      1  ...               0
#1      2  ...               0

#..   ...  ...             ...
#99   100  ...               0
#100  101  ...               0

# データを特徴量と目的変数に分ける
df_x = df.copy()
df_y = df[['Province No.1','Province No.2','Province No.3','Province No.4','Province No.5','Province No.6','Province No.7','Province No.8','Province No.9','Province No.10','Province No.11','Province No.12','Province No.13','Province No.14','Province No.15','Province No.16','Province No.17']]
print(df_x.head())
print(df_y.head())
#  Day  ...  Province No.17
#0    1  ...               0
#1    2  ...               0
#2    3  ...               0
#3    4  ...               0
#4    5  ...               0

#[5 rows x 205 columns]
#   Province No.1  Province No.2  ...  Province No.16  Province No.17
#0              0              0  ...               0               0
#1              0              0  ...               0               0
#2              0              0  ...               0               0
#3              0              0  ...               1               0
#4              0              0  ...               0               0

#[5 rows x 17 columns]

import xgboost as xgb
from sklearn.metrics import mean_squared_error
from sklearn.externals import joblib
from sklearn.multioutput import MultiOutputRegressor

# xgboostモデルの作成
reg = MultiOutputRegressor(xgb.XGBRegressor())

for n in range(5):
  train_x = df_x[n:n+24]
  train_y = df_y[n+24:n+48]
  print('現在 train %1d の検証中です' %n)

  reg = MultiOutputRegressor(xgb.XGBRegressor())
  reg.fit(train_x, train_y)

# モデルを保存
filename = 'model.sav'
joblib.dump(reg, filename)

# 学習モデルの評価
train_x_pred = df_x[5:29]#Day6-29
train_y_pred = df_y[29:53]#Day30-53
pred_train = reg.predict(train_x_pred)

print('RMSE for pred_train:', np.sqrt(mean_squared_error(train_y_pred, pred_train)))

#テスト
y_pred = []
y_true = []

for i in range(23):
  test_x = df_x[i+29:i+53]
  test_y = df_y[i+53:i+77]
  print('現在 test %1d の検証中です' %i)
  pred_test = reg.predict(test_x)
  y_pred.append(pred_test)
  y_true.append(test_y)
  print('RMSE for pred_test:', np.sqrt(mean_squared_error(test_y, pred_test)))

print(y_pred)
#[array([[ 1.77417302e+00,  2.42700934e-01,  1.64597619e+00,
         # 1.63864481e+00,  5.76995015e-01,  1.87968910e-02,
         # -3.94308567e-03,  6.21627092e+00,  1.58334465e+01,
         # 1.14232481e+00,  9.58841085e-01,  6.83230162e-03,
         # 8.71272802e-01, -2.20537186e-04,  6.96563625e+00,
         # 1.78707886e+01, -6.04650378e-02],
        #[ 1.98073311e+01, -9.53328609e-03,  1.59746265e+00,
        # ...

#NumPy配列をDataFrameに変換
pred_test_df = pd.DataFrame(y_pred)
print(pred_test_df)

試したこと

pd.DataFrameで上手くいかなかったので、pd.Seriesで変換を試みたところエラーが発生しなかったのですが、変換したものをcsvファイルに落とし込んでみたところ、[[1.77417302e+00, 2.42700934e-01,...]]のままの形になっていました。

###補足情報
y_pred[0]を以下のようにデータフレームに変換できたらと思っていますが、可能でしょうか？

               1      2  ...     16     17
0              0      0  ...     0       0
1              0      0  ...     0       0
2              0      0  ...     0       0
...
22             0      0  ...     1       0
23             0      0  ...     0       0
#[24 rows x 17 columns]

Comments

[meg_]

発生している問題・エラーメッセージにある「pred_test_df = pd.DataFrame(y_pred)」のコードが該当のソースコードにはありません。解決したい問題は何でしょうか？

[SuzuAya]

＞meg_様
失礼いたしました！！
ソースコードの最後の部分を変更いたしました。
y_predをデータフレームに変換したい、というのがご相談事項です。

[meg_]

y_predをどういうDataFrameにしたいのでしょうか？　DataFrameの1列目にy_pred[0]、2列目にy_pred[1] ... ということですか？　それともまた別の形式でしょうか？

[SuzuAya]

y_predの各要素が24×17の行列になっています。これを、上から順にデータフレームに変換できたら、、と思っております。
つまり、データフレームの0〜23行目までは要素1、24〜47行目までは要素2、、という風にしたいです。
説明がうまくできておらず申し訳ありません。

[meg_]

y_pred.shapeの結果を教えてください。

[SuzuAya]

リストなのでShape表示ができませんでした。
y_predを表示させると以下のようになっております。
[array([[ 1.77417302e+00, 2.42700934e-01, 1.64597619e+00,
# 1.63864481e+00, 5.76995015e-01, 1.87968910e-02,
# -3.94308567e-03, 6.21627092e+00, 1.58334465e+01,
# 1.14232481e+00, 9.58841085e-01, 6.83230162e-03,
# 8.71272802e-01, -2.20537186e-04, 6.96563625e+00,
# 1.78707886e+01, -6.04650378e-02],
#[ 1.98073311e+01, -9.53328609e-03, 1.59746265e+00,
# ...

[meg_]

2次元arrayのリストなんですね。分かりました。
「データフレームの0〜23行目までは要素1、24〜47行目までは要素2、、」が分かりませんでした。
y_pred[0]を例に提示いただけませんか？※「要素」という言葉がデータフレームの行列にどう対応するのか？

[SuzuAya]

申し訳ありません！私の説明が間違っておりました…。
正しくは、y_pred[0]をデータフレームの1行目、y_pred[1]をデータフレームの2行目…という風に変換させたいです。

[meg_]

「y_predの各要素が24×17の行列」なので、データフレームの各行が「24×17」の列を持つということですか？

[SuzuAya]

補足情報にイメージを追記させて頂きました。
もし、まだ情報が不足しておりましたら、これ以上お時間を奪ってしまうのは申し訳ないので、ご回答は不要です…（建前でなく）！！
お手数をお掛けしてしまい申し訳ありません。いつも本当にありがとうございます。

Answer 1

import numpy as np
import pandas as pd

y = np.array(range(24 * 17))
y = y.reshape(24, 17)
y2 = np.array(range(24 * 17, 24 * 17 + 24 * 17))
y2 = y2.reshape(24, 17)

y_list = []
y_list.append(y)
y_list.append(y2)

df_list = []
for i in y_list:
    df = pd.DataFrame(i)
    df_list.append(df)

df = pd.concat(df_list)

下記部分をご自身のコードの変数に変えれば動作するかと思います。

df_list = []
for i in y_list:
    df = pd.DataFrame(i)
    df_list.append(df)

df = pd.concat(df_list)

Comments

[SuzuAya]

>meg_様
いつもありがとうございます。
大変助かりました。それとともに、貴重なお時間をたくさんいただき、申し訳ありません。
今後ともどうぞよろしくお願いいたします。