質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

ただいまの
回答率

88.06%

leave one out cross variation(LOOCV)の過程でshapes (1,1) and (2,) not alignedというエラーが出ます

解決済

回答 1

投稿 編集

  • 評価
  • クリップ 0
  • VIEW 364

score 10

前提・実現したいこと

Python、統計学初心者の者です。
仕事の関係で、下記のことをPythonで実現したいと考えております。

① あるデータをtrainデータとtestデータに分割する
② trainデータを用いて、GLM(一般化線形モデル)によるポアソン回帰モデルを作成する。
③ 上記のモデルにtestデータを代入し、testデータの実測値とモデルによる予測値を比較する
(交差検証:cross variation)

今回、testデータを1つのみとし、trainデータを残りのすべてとする手法(leave-one-out)を施行したいと考えております。

発生している問題・エラーメッセージ

まず、お弁当の需要予測(https://signate.jp/competitions/24)のデータを用いて、
上記の手法をトライしました。
Python初心者で思い通りのコードを書くことはできないので、
インターネットからコードのコピペを組み合わせて試行錯誤しました。
(https://tanuhack.com/statsmodels-multiple-lra/ を参考にしました。)

まず、0行目のデータ(2013/11/18のデータ)をtestデータ、残りをtrainデータとしてコードを書きました。
(このコードがうまく動けば、i行目のiをfor構文で回して、すべての行に対してこれを行い、評価する予定です。)
気温を説明変数、お弁当の販売数を応答変数とするポアソン回帰モデルを作成しました。
すると、以下のようなエラーメッセージが出現します。

ValueError                                Traceback (most recent call last)
<ipython-input-5-d4fb5ef762d3> in <module>
     29 testX = sm.add_constant(testX)
     30 
---> 31 pred = result.predict(testX)
     32 test['pred'] = pred
     33 test

~\anaconda3\lib\site-packages\statsmodels\base\model.py in predict(self, exog, transform, *args, **kwargs)
   1098 
   1099         predict_results = self.model.predict(self.params, exog, *args,
-> 1100                                              **kwargs)
   1101 
   1102         if exog_index is not None and not hasattr(predict_results,

~\anaconda3\lib\site-packages\statsmodels\genmod\generalized_linear_model.py in predict(self, params, exog, exposure, offset, linear)
    870             exog = self.exog
    871 
--> 872         linpred = np.dot(exog, params) + offset + exposure
    873         if linear:
    874             return linpred

<__array_function__ internals> in dot(*args, **kwargs)

ValueError: shapes (1,1) and (2,) not aligned: 1 (dim 1) != 2 (dim 0)

該当のソースコード

# 1. 必要なライブラリの読み込み
import pandas as pd
import statsmodels.formula.api as smf
import statsmodels.api as sm
from matplotlib import pyplot as plt

i = 0  

# 2. 使用するデータの読み込み
df = pd.read_csv("otehon data/trainmoji.csv", encoding="shift-jis")

test =  df.iloc[[i]]  #i行目をtestデータとする
train = df.drop(test.index)  #残りをtrainデータとする

# 3. smf.glmで使うformula(線形予測子)とfamily(確率分布)を設定する
trainY = train['y']          # 目的変数:y

trainX = pd.get_dummies(train[['temperature']]) # 説明変数
family = sm.families.Poisson()
trainX = sm.add_constant(trainX)

# 4. 先ほどの設定値を使って一般化線形モデルを作成
model = sm.GLM(trainY, trainX, family=family)

# 5. 作成したモデルを学習させる
result = model.fit()

# 6. testデータで検証
testX =  pd.get_dummies(test[['temperature']]) # 説明変数
testX = sm.add_constant(testX)

pred = result.predict(testX)
test['pred'] = pred
test

試したこと

いろいろ調べると、配列の要素数があっていないときにこのようなメッセージが出るようですが、
train, testに格納された列数は一致しているはずです。

補足情報(FW/ツールのバージョンなど)

ここにより詳細な情報を記載してください。

  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 過去に投稿した質問と同じ内容の質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

質問への追記・修正、ベストアンサー選択の依頼

  • masabassii94

    2020/12/08 13:44

    説明不足で申し訳ございません。
    最終的には全部のデータに対し、
    i個目のデータのみ除外して学習→i個目のデータでテスト
    というセットを全データに対し行う予定です。
    まず、試しにi=0として動くかどうかをやってみたところです。
    これがうまくいけば、iをforループで回してすべてのデータに対し行う予定です。

    ValueError: shapes (1,1) and (2,) not aligned: 1 (dim 1) != 2 (dim 0) のエラーの原因をご存じであれば教えて頂ければ幸甚です。
    よろしくお願い申し上げます。

    キャンセル

  • jbpb0

    2020/12/08 14:48

    train, testに分けてからpd.get_dummies()で処理するのは、エラーの原因である上に、ムダの原因でもあります

    お書きのコードのまま(エラーが出なかったとして)

    > これがうまくいけば、iをforループで回してすべてのデータに対し行う

    としたら、iを変える度に毎回pd.get_dummies(), sm.add_constant()を実行することになりますが、それはムダです
    train, testに分けてない全データに対して先に1回だけ処理しておけば、Leave One Outの際には不要です

    キャンセル

  • masabassii94

    2020/12/08 22:26

    ありがとうございます。

    キャンセル

回答 1

checkベストアンサー

0

train, testに格納された列数は一致しているはず

train, testの列数は一致してますけど、trainX, testXの列数は一致してません
確認してください

trainX.shape
testX.shape

その原因は、train, testに分けてからpd.get_dummies()で処理してるからです testは1行しか無いのだから、pd.get_dummies()の後のダミー変数は1つだけです 一方、trainは'temperature'の種類だけダミー変数ができます
'temperature'が数値なら、pd.get_dummies()で処理しても影響無いので、列数が合わない原因ではないですね
失礼しました
列数が合わない原因は、質問者さんがコメントにお書きになった通り、sm.add_constant()ですね

投稿

編集

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2020/12/08 22:31

    ありがとうございます。
    ご指摘の通り、trainX, testXの内容を確認したところ、trainXにはconstの列(sm.add_constantで追加した切片)が追加されているのに対し、testXにはそれがないため、列数が異なっておりました。
    testX = sm.add_constant(testX)  ⇒  testX['const'] = 1.0
    とすることで、testXにも切片が追加され、列数が一致するようになりました。
    誠にありがとうございました。

    (上記の問題はクリアしましたが、次にSettingWithCopyWarningというエラーが出現しました。.copy()をつけても解決いたしません。まことに恐縮ですが、こちらについてもご存じであればご教授いただければ幸いです

    URL:https://teratail.com/questions/309009?modal=q-comp)

    キャンセル

  • 2020/12/08 23:03

    > trainXにはconstの列(sm.add_constantで追加した切片)が追加されているのに対し、testXにはそれがないため、列数が異なっておりました。

    # 6. testデータで検証
    の2行下に
    testX = sm.add_constant(testX)
    があるから、それは問題無かったはず

    キャンセル

  • 2020/12/08 23:16 編集

    と思ったら、
    testX = sm.add_constant(testX)
    は機能しないですね
    失礼しました

    キャンセル

15分調べてもわからないことは、teratailで質問しよう!

  • ただいまの回答率 88.06%
  • 質問をまとめることで、思考を整理して素早く解決
  • テンプレート機能で、簡単に質問をまとめられる

関連した質問

同じタグがついた質問を見る