Pandasを使って移動平均を求めたい

Question

前提・実現したいこと

CSV形式で保存されているデータに対して、Pythonを用いて移動平均を求める

発生している問題・エラーメッセージ

---------------------------------------------------------------------------
AttributeError                            Traceback (most recent call last)
<ipython-input-18-cc023d181ada> in <module>
----> 1 dataset["3SMA"] = dataset["Close"].apply(three_SMA)
      2 dataset.iloc[0:9][["Date", "Close", "3SMA"]]

~/anaconda3/lib/python3.6/site-packages/pandas/core/series.py in apply(self, func, convert_dtype, args, **kwds)
   3192             else:
   3193                 values = self.astype(object).values
-> 3194                 mapped = lib.map_infer(values, f, convert=convert_dtype)
   3195 
   3196         if len(mapped) and isinstance(mapped[0], Series):

pandas/_libs/src/inference.pyx in pandas._libs.lib.map_infer()

<ipython-input-17-113f80d88e95> in three_SMA(x)
      1 def three_SMA(x):
----> 2     return x.rolling(window=3).mean()

AttributeError: 'float' object has no attribute 'rolling'

該当のソースコード

def three_SMA(x):
    return x.rolling(window=3).mean()

dataset["3SMA"] = dataset["Close"].apply(three_SMA)
dataset.iloc[0:9][["Date", "Close", "3SMA"]]

試したこと

まだ、プログラミング初心者であり、どのようなことを試せるのかもわからない状況です。
dataset["Close_int"] = dataset["Close"].round().astype(int)
など、int型への変換を試みましたが、列にNullが含まれているため、型の変換自体うまくいきませんでした。

補足情報（FW/ツールのバージョンなど）

Jupiter notebook

Comments

[atsunofu]

データセットのフォーマットに問題が有る様です。
どの様なデータセットなのか教えていただけますか？

[J1N]

ご覧いただき、ありがとうございます。
https://finance.yahoo.com/quote/%5EN225/history?ltr=1
米国のヤフーファイナンスからCSV形式でダウンロードした株価データを使用しています。
また、
dataset = pd.read_csv("dataset/N225(1980〜）.csv")
と入力し、pandas形式のデータセットにしています。

Answer 1

移動平均の計算方法は別の方が説明いただいていますので、そこを参考下さい。
dataset のクレンジングが必要な様なので下記サイトを参考にして下さい。
pandasで欠損値NaNを除外（削除）・置換（穴埋め）・抽出

import pandas as pd

#NaNを除去する場合
df = df.dropna(subset=['(対象の列名)', '(対象の列名)'], how='all'))

#文字を　0　に置き換えたい場合
df = df.replace('(置き換えたい文字列)',float(0.000))

等を試して、不要なデータを除去してから移動平均の計算を実施してみて下さい。

Comments

[J1N]

参考サイトを教えていただき、ありがとうございます。
これから、クレンジングに取り掛かってみます。

Answer 2

移動平均の計算は、Series.rolling(window=5).mean() とすればよいです。
以下サンプル例

データ作成

import numpy as np
import pandas as pd

data = np.random.choice([-1., 1.], size=500).cumsum()
series = pd.Series(data)
series.plot()

移動平均を計算する。

ma = series.rolling(window=5).mean()  # 移動平均
ma.plot()

追記 NaN を含むデータの移動平均について

pandas.DataFrame.rolling

Minimum number of observations in window required to have a value (otherwise result is NA).
For a window that is specified by an offset, min_periods will default to 1. Otherwise, min_periods will default to the size of the window.

デフォルトでは window 内に1つでも NaN があると、その部分の平均は NaN になってしまいます。
min_periods を指定することで、window 内に最低でも min_periods 個の有効な値があれば、平均が計算されるようになります。

import pandas as pd

df = pd.read_csv('test.csv')
ma = df['Close'].rolling(window=3, min_periods=1).mean()  # 移動平均
ma.plot()

データはコメント欄にあった株価のデータを使っています。

追記

データは こちら の Download Data をクリックすると、ダウンロードされる CSV ファイルであっていますか？
中身は以下のようです。

Date,Open,High,Low,Close,Adj Close,Volume
2019-01-07,19944.609375,20266.220703,19920.800781,20038.970703,20038.970703,81500
2019-01-08,20224.669922,20347.919922,20106.359375,20204.039063,20204.039063,86400
2019-01-09,20366.300781,20494.349609,20331.199219,20427.060547,20427.060547,72800
2019-01-10,20270.880859,20345.919922,20101.929688,20163.800781,20163.800781,73700
2019-01-11,20296.449219,20389.890625,20294.740234,20359.699219,20359.699219,77700
2019-01-14,null,null,null,null,null,null
2019-01-15,20264.820313,20571.279297,20204.429688,20555.289063,20555.289063,78300
2019-01-16,20575.720703,20580.250000,20323.320313,20442.750000,20442.750000,69500
2019-01-17,20544.230469,20571.750000,20342.460938,20402.269531,20402.269531,63600
2019-01-18,20472.810547,20682.119141,20454.130859,20666.070313,20666.070313,64700
2019-01-21,20848.380859,20892.679688,20678.259766,20719.330078,20719.330078,61200
2019-01-22,20770.060547,20805.929688,20558.300781,20622.910156,20622.910156,57100
2019-01-23,20453.439453,20686.289063,20438.220703,20593.720703,20593.720703,0
2019-01-24,20506.240234,20620.720703,20467.589844,20574.630859,20574.630859,61400
2019-01-25,20598.640625,20844.310547,20598.640625,20773.560547,20773.560547,68400
2019-01-28,20746.289063,20759.480469,20624.550781,20649.000000,20649.000000,56800
2019-01-29,20555.439453,20673.660156,20406.220703,20664.640625,20664.640625,63100
2019-01-30,20701.619141,20706.269531,20527.529297,20556.539063,20556.539063,72100
2019-01-31,20832.910156,20869.419922,20682.910156,20773.490234,20773.490234,75700
2019-02-01,20797.029297,20929.630859,20741.980469,20788.390625,20788.390625,82200
2019-02-04,20831.900391,20922.580078,20823.679688,20883.769531,20883.769531,66600
2019-02-05,20960.470703,20981.230469,20823.179688,20844.449219,20844.449219,65500
2019-02-06,20928.869141,20971.660156,20860.990234,20873.599609,20873.599609,0

これに対して、

import pandas as pd

df = pd.read_csv('test.csv')
ma = df['Close'].rolling(window=3, min_periods=1).mean()  # 移動平均
ma.plot()

で動作確認していますが、質問者さんの環境ではエラーが出るということですか？

Comments

[J1N]

回答をしていただき、ありがとうございます。大変参考になります。

ただ、私の方で試すと、どうしても
AttributeError: 'float' object has no attribute 'rolling'
のエラーが出てしまいます。
ご記載いただきました、　df['Close"] は整数への型変換をされていますでしょうか？
ご教示いただけますと幸いです。

[tiitoi]

質問欄に書いてある dataset["Close"].apply(three_SMA) ではなく、回答のコードを実行してそうなりますか？
また使用しているデータは追記した通りであっていますか？

[J1N]

データはご記載アップしていただいたもので一致しております。
おっしゃる通り、私の環境ではエラーが出てしまいます。
例えば、2019年2月1日のCloseのデータを見ますと、「20788.390625」ですが、エラーの内容を読むと、この数字が小数（float）だから、rollingが使えないのかなと解釈していました。

[J1N]

dataset["Close"].apply(three_SMA)の部分を変更しておりませんでした。
回答のコードを実施したら、正しく作動しました。

大変助かりました。
ご丁寧に教えていただき、誠にありがとうございました。