前提・実現したいこと
Python、統計学初心者の者です。
仕事の関係で、下記のことをPythonで実現したいと考えております。
① あるデータをtrainデータとtestデータに分割する
② trainデータを用いて、GLM(一般化線形モデル)によるポアソン回帰モデルを作成する。
③ 上記のモデルにtestデータを代入し、testデータの実測値とモデルによる予測値を比較する
(交差検証:cross variation)
今回、testデータを1つのみとし、trainデータを残りのすべてとする手法(leave-one-out)を施行したいと考えております。
発生している問題・エラーメッセージ
まず、お弁当の需要予測(https://signate.jp/competitions/24)のデータを用いて、
上記の手法をトライしました。
気温を説明変数、お弁当の販売数を応答変数とするポアソン回帰モデルを基に解析を行います。
Python初心者で思い通りのコードを書くことはできないので、
インターネットからコードのコピペを組み合わせて試行錯誤しました。
(https://tanuhack.com/statsmodels-multiple-lra/ を参考にしました。)
まず、0行目のデータ(2013/11/18のデータ)をtestデータ、残りをtrainデータとしてコードを書きました。
(このコードがうまく動けば、i行目のiをfor構文で回して、すべての行に対してこれを行い、評価する予定です。)
0行目のみをデータを取り出すため、ilocを用いました。
すると、次のようなエラーメッセージが出現します。
C:\Users\xxx\anaconda3\lib\site-packages\ipykernel_launcher.py:29: SettingWithCopyWarning: A value is trying to be set on a copy of a slice from a DataFrame. Try using .loc[row_indexer,col_indexer] = value instead See the caveats in the documentation: https://pandas.pydata.org/pandas-docs/stable/user_guide/indexing.html#returning-a-view-versus-a-copy
該当のソースコード
Python
1# 1. 必要なライブラリの読み込み 2import pandas as pd 3import statsmodels.formula.api as smf 4import statsmodels.api as sm 5from matplotlib import pyplot as plt 6 7i = 0 8 9# 2. 使用するデータの読み込み 10df = pd.read_csv("otehon data/trainmoji.csv", encoding="shift-jis") 11 12test = df.iloc[[i]].copy() 13train = df.drop(test.index) 14 15# 3. smf.glmで使うformula(線形予測子)とfamily(確率分布)を設定する 16trainY = train['y'] # 目的変数:y 17 18trainX = train[['temperature']]# 説明変数 19family = sm.families.Poisson() 20trainX = sm.add_constant(trainX) 21 22# 4. 先ほどの設定値を使って一般化線形モデルを作成 23model = sm.GLM(trainY, trainX, family=family) 24 25# 5. 作成したモデルを学習させる 26result = model.fit() 27 28testX = test[['temperature']] # 説明変数 29testX['const'] = 1.0 30 31pred = result.predict(testX) 32test['pred'] = pred 33test
試したこと
インターネットで調べると、
SettingWithCopyWarningのエラーは、データ抽出の際.copy()を使用すると解決するとありましたが、
.copy()をつけても改善しません。
補足情報(FW/ツールのバージョンなど)
回答1件
あなたの回答
tips
プレビュー