csvデータから回帰係数を求める

Question

下記のようなデータから、index毎に回帰係数を求めたいです。

data=pd.DataFrame([[100,200,300,400,500],[100,200,300,400,500],[100,200,200,300,300],
                   [500,400,300,200,100],[500,400,300,200,100]],
             columns=['1月','2月','3月','4月','5月'],
             index=['A101','A102','A103','A104','A105'])

statsやlinear_modelを使用するのかと検討したのですが、データ構成方法から苦戦しております。。
index毎に、減少傾向なのか増加傾向なのかを確認するために求めたいです。

求め方についてご教授頂けますでしょうか。。よろしくお願いします。

Answer 1

最小二乗法による単回帰分析でよければ、 numpy.linalg.lstsq() でも良いかと。

https://docs.scipy.org/doc/numpy/reference/generated/numpy.linalg.lstsq.html

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt

data = pd.DataFrame(
    [
        [100, 200, 300, 400, 500],
        [100, 200, 300, 400, 500],
        [100, 200, 200, 300, 300],
        [500, 400, 300, 200, 100],
        [500, 400, 300, 200, 100]
    ],
    columns=['1月', '2月', '3月', '4月', '5月'],
    index=['A101', 'A102', 'A103', 'A104', 'A105'])

A = np.vstack([range(data.shape[1]), np.ones(data.shape[1])]).T
data = data.join(data.apply(lambda d: pd.Series(np.linalg.lstsq(A, d, rcond=None)[0], index=['w1', 'w0']), axis=1))
print(data)
#       1月   2月   3月   4月   5月     w1     w0
#A101  100  200  300  400  500  100.0  100.0
#A102  100  200  300  400  500  100.0  100.0
#A103  100  200  200  300  300   50.0  120.0
#A104  500  400  300  200  100 -100.0  500.0
#A105  500  400  300  200  100 -100.0  500.0

# 一応確認
fig, axs = plt.subplots(1, 5, figsize=[12,3])
for (name, d), ax in  zip(data.iterrows(), axs):
    x = np.arange(5)
    f = lambda p: d.w0 + d.w1 * p
    ax.plot(x, d[:5], '.')
    ax.plot(x, f(x), '-')
    ax.set_title(name)
plt.show()

Comments

[haruhika]

ご丁寧な説明ありがとうございました。。
・説明変数の用意
・各行への単回帰分析の実行
こちらに苦戦していたので、助かりました。

ありがとうございました。

Answer 2

index毎に、減少傾向なのか増加傾向なのかを確認するために求めたいです。

とのことでしたので単回帰分析を利用するのが早そうですね
単回帰分析なら、Scikit-learn を使ってみるのはいかがでしょうか？
https://algorithm.joho.info/machine-learning/python-scikit-learn-regression-single/

Comments

[haruhika]

コメントありがとうございます！
はい、Scikit-learnのlinear_modelを使って検討しておりました。

URLありがとうございます！

Answer 3

ネット検索を活用すれば、回帰係数の求め方は分かると思います。

もし、分からなかったら、分からなかったところを明示したら、その先の求め方も教えてもらえると思います。

Comments

[haruhika]

質問内容が不十分で申し訳ございませんでした。
回帰係数の求め方は、調べてすぐわかりましたが、
・説明変数の用意
・データフレームを使用し、各行への単回帰分析の実行
に苦戦していることを書くべきでした。。

（データ構成方法から苦戦しております。。　だけでは不十分でした。。）