statsmodels.api：時系列データの季節要因を除去したいがValueErrorとなる

Question

環境：python3, win10

初学者です。時系列データをstatsmodels.apiの関数tsa.seasonal_decomposeを用いて季節性を除去したいと考えております。ですが、後述のエラーがでてグラフが出力されず困っています。コードをどのように変更すればよろしいでしょうか？教えて下さると幸いです。

コード：

#dataはデータフレーム
#データを時系列形式に変換する。
data['A'] = pd.to_datetime(data['A'],format = "%Y-%m-%d %H:%M:%S")

df2 = data

#３．構造変化の確認.複数のカラムで完全一致するまとまりごとにグラフをプロットしたい

df2 = df2.reset_index()
for g in df2.groupby(["B","C","D","E","F"]):
    row2 = g[1]

    #データが10以上あり、かつある属性をもつデータのみ抽出。
    if len(row2)>9:
        row3 = row2[row2["F"].isin(["abc"])
　　　　#ここの抽出条件を変えると、データ数の大きいものは最後にグラフが出力される。ただし、そのときでも同様のエラーは発生している。

        #trendを抽出したうえで、”D”というカラムの数値をプロット
        row3 = row3.set_index("A")
        test = row3["D"]
        res = sm.tsa.seasonal_decompose(test.values, freq = 5)
        res.plot()
    else:
        pass

結果、以下のようなエラーを得ました。

---------------------------------------------------------------------------
ValueError                                Traceback (most recent call last)
<ipython-input-64-9b8e9a46c55f> in <module>()
     29         row3 = row3.set_index("A")
     30         test = row3["D"]
---> 31         res = sm.tsa.seasonal_decompose(test.values, freq = 5)
     32         res.plot()
     33     else:

~\Anaconda3\lib\site-packages\statsmodels\tsa\seasonal.py in seasonal_decompose(x, model, filt, freq, two_sided)
     93 
     94     nsides = int(two_sided) + 1
---> 95     trend = convolution_filter(x, filt, nsides)
     96 
     97     # nan pad for conformability - convolve doesn't do it

~\Anaconda3\lib\site-packages\statsmodels\tsa\filters\filtertools.py in convolution_filter(x, filt, nsides)
    287 
    288     if filt.ndim == 1 or min(filt.shape) == 1:
--> 289         result = signal.convolve(x, filt, mode='valid')
    290     elif filt.ndim == 2:
    291         nlags = filt.shape[0]

~\Anaconda3\lib\site-packages\scipy\signal\signaltools.py in convolve(in1, in2, mode, method)
    784 
    785     if method == 'auto':
--> 786         method = choose_conv_method(volume, kernel, mode=mode)
    787 
    788     if method == 'fft':

~\Anaconda3\lib\site-packages\scipy\signal\signaltools.py in choose_conv_method(in1, in2, mode, measure)
    680 
    681     if _numeric_arrays([volume, kernel]):
--> 682         if _fftconv_faster(volume, kernel, mode):
    683             return 'fft'
    684 

~\Anaconda3\lib\site-packages\scipy\signal\signaltools.py in _fftconv_faster(x, h, mode)
    481     direct_time = (x.size * h.size * _prod(out_shape))
    482     fft_time = sum(n * math.log(n) for n in (x.shape + h.shape +
--> 483                                              tuple(out_shape)))
    484     return big_O_constant * fft_time < direct_time
    485 

~\Anaconda3\lib\site-packages\scipy\signal\signaltools.py in <genexpr>(.0)
    480     # convolution method is faster (discussed in scikit-image PR #1792)
    481     direct_time = (x.size * h.size * _prod(out_shape))
--> 482     fft_time = sum(n * math.log(n) for n in (x.shape + h.shape +
    483                                              tuple(out_shape)))
    484     return big_O_constant * fft_time < direct_time

ValueError: math domain error

Comments

[magichan]

このコードだと、 sm.tsa.seasonal_decompose()に入れる値はgroupby() されているので変動のない固定値をとるように思えるのですが。　とりあえずエラーが発生するときのデータを示していただくことは可能でしょうか？

[ak_miyamoto]

返信遅れまして申し訳ございません。カラム「”A”」が時系列データになっておりまして、sm.tsa-の引数は変動のあるものとなっております。データ
を直接示すことは出来かねるのですが、「”A”」が月ごとのカラム、他のカラムは数字のデータになっております。データによっては、飛び飛びの月を示す場合もございます。

[magichan]

うーん・・ "for g in df2.groupby(["B","C","D","E","F"]):" ということは、'D'値が共通のものが同じグループと扱われますよね。 であれば row3["D"] は同じグループ内では全て同じ値になりませんかね？

[ak_miyamoto]

その点なおしたらうまくいきました。こちらのうっかりミスです。ありがとうございました。