GLM(一般化線形モデル)による予測値をグラフ化したい

前提・実現したいこと

Python, 統計学ともに初心者の者です。
この度、仕事でGLMを用いた解析が必要となり、勉強している最中です。
SIGNATEのお弁当箱需要データ(https://signate.jp/competitions/24)を用いて
GLMで解析し、実測データと予測値をグラフ化してみることにしました。

以下のウェブサイトを参考にしました。
(https://tech-diary.net/generalized-linear-model-with-python/)

発生している問題・エラーメッセージ

見よう見まねでやってみるとグラフ化できましたが、
これで合っているのか自信がありません。
この手法で誤りがないかご教授頂ければ幸いです。

該当のソースコード

# 1. 必要なライブラリの読み込み
import pandas as pd
import statsmodels.formula.api as smf
import statsmodels.api as sm

# 2. 使用するデータの読み込み
df = pd.read_csv("Desktop/Pyhton memo/trainmoji.csv", encoding="shift-jis")
df.head()

# 3. smf.glmで使うformula(線形予測子)とfamily(確率分布)を設定する
y = df['y'] 
x = pd.get_dummies(df[['temperature']]) # 説明変数
family = sm.families.Poisson()

x = sm.add_constant(x)

# 4. 先ほどの設定値を使って一般化線形モデルを作成
model = sm.GLM(y, x, family=family)

# 5. 作成したモデルを学習させる
result = model.fit()

# 6. 結果の表示
result.summary()

# 7.グラフの作成
import matplotlib.pyplot as plt

pred = result.predict(x)
df['pred'] = pred

df.plot(y=['y','pred'], x='datetime', figsize=(30,5), title='GLM')

plt.savefig("Desktop/jupyter/GLMotehon.png")

上記により以下のようなグラフが作成されました。

解析表は以下の通りになります。

この手法で誤りがないかご教授いただければ幸甚です

行動規範の内容に同意します

回答2件

ベストアンサー

正しいか確認する方法はいくつかありますが

素性の分かるダミーデータを作って実験する
複数の手法を比較する(全部間違っている可能性はありますが)

Rなら1行の処理なのでpythonと結果を比較してみるのはどうでしょうか?

R
1signate24 <- read.csv("train.csv", fill=F)
2out <- glm(y ~ temperature, data=signate24, family=poisson)
3summary(out)

結果

terminal
1$ Rscript hoge.R 
2
3Call:
4glm(formula = y ~ temperature, family = poisson, data = signate24)
5
6Deviance Residuals: 
7    Min       1Q   Median       3Q      Max  
8-5.6407  -1.8310  -0.3937   1.1682   7.9584  
9
10Coefficients:
11              Estimate Std. Error z value Pr(>|z|)    
12(Intercept)  4.9849247  0.0166788  298.88   <2e-16 ***
13temperature -0.0287788  0.0008711  -33.04   <2e-16 ***
14---
15Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1
16
17(Dispersion parameter for poisson family taken to be 1)
18
19    Null deviance: 2511.7  on 206  degrees of freedom
20Residual deviance: 1412.3  on 205  degrees of freedom
21AIC: 2706
22
23Number of Fisher Scoring iterations: 4

[追記]
書き忘れましたが時系列のプロットの前に temperature vs y のグラフの上にフィッティングした線を是非描いて下さい。フィッティングの正しさの判断はグラフが強力です。

R
1library('ggplot2')
2png("glm.png")
3p <- ggplot(data=signate24,aes(x=temperature, y=y)) + geom_point() +
4    geom_line(aes(y = out$fitted.values), color='red')
5print(p)
6dev.off()