pythonでばらつきを表現したい

Question

#pythonの強化学習の報酬のグラフを作り変えたい
現在、強化学習でグラフを作成したのですが

このようなグラフが出来ました。
このグラフを
のような形に持っていきたいのですがどのようにすればよいですか？
また、どのように調べればよいですか？

#プログラムの内容
import pandas as pd
import matplotlib.pyplot as plt

df = pd.read_csv('./gail/monitor.csv', names=['r', 'l','t']) # monitor.csvの読み込み (1)
df = df.drop(range(2)) # 1〜2行目の削除

x = range(len(df['r'])) # エピソードのインデックス# 報酬のグラフの表示 (2)
y = df['r'].astype(float) # 報酬
plt.plot(x, y)
plt.xlabel('episode')
plt.ylabel('reward')
plt.show()

Comments

[hayataka2049]

「のような形」のグラフがどんなアルゴリズムでプロットを行っているかわかりますか？

[gogongon]

https://nosukeru-nauts.hatenablog.com/entry/2019/05/04/152501
このサイトに載っているgitを参考にしたんですが、このようなグラフがどこに書いてあるのか分からなくて、、、

Answer 1

グラフの描画はOSVさんのいう通りでmatplotlibのfill_betweenでうまくいきます。

与えられたデータからトレンドと誤差の計算する方法ですが、以下がありそうです。

1.所定のepisode数単位で平均および標準偏差を計算し、標準偏差を使って95%区間を計算する。
いったん、DataFrameにデータ形式を変更して、rollingメソッドを使ってmeanとstdを計算します。
2.カルマンフィルターを活用する。
参考になりそうなURLを以下に示します。

　　　https://qiita.com/hanon/items/7f03621414c59f06d7ca

3.statsmodels.tsa（statsmodelsに実装される時系列分析用モジュール）を活用する。
カルマンフィルターと同じことができる関数があったはずです。

項番2は一番面倒そうなのでお勧めできませんが、理論的バックボーンがしっかりしています。
理論的な厳密性は微妙ですが項番1が一番楽に実装できる気がするので、まずはそこから始めてはいかがでしょうか？

Comments

[gogongon]

import pandas as pd
import matplotlib.pyplot as plt
import numpy as np

df = pd.read_csv('./gail/monitor.csv', names=['r', 'l','t'])
df = df.drop(range(2)) # 1〜2行目の削除

x = range(len(df['r'])) # エピソードのインデックス
y_mean = df['r'].rolling(3).mean()
y_std = df['r'].rolling(3).std()

plt.fill_between(x, y_mean - y_std, y_mean + y_std)
plt.xlabel('episode')
plt.ylabel('reward')
plt.show()

という風に書き直したのですが、上手くいかなくて、
どのように直したらよいですか？

[gogongon]

平均を上にかぶせるのを忘れていました。
上手くできました！
ありがとうございます

Answer 2

Plot yerr/xerr as shaded region rather than error bars

matplotlibのfill_betweenを使えば実装できそうです。
適当な範囲で平均と誤差の曲線を計算してあげましょう。