帯状の標準偏差をつけた折れ線グラフの作成法（Python,jupyter）

Question

前提・実現したいこと

（１）標準偏差を帯状につけた折れ線グラフを作りたい。
エクセルファイルに以下のようなデータが入っています。
day1からday28までのデータの平均値の折れ線グラフを、sexやconditionごとに作成したいです。標準偏差は「エ」でなく、https://seaborn.pydata.org/generated/seaborn.lineplot.htmlにでているような帯状にしたいです。

（２）統計解析
また、条件ごと（maleとfemaleであればMann-Whitney検定、A,B,CであればANOVA検定）での統計解析も行いたいです。

Num sex condition day1 day3 day5 Day7 Day14 Day28
0 M1 male A 16.0 19 NaN NaN NaN NaN
1 M2 male B 12.0 19 5.0 12.0 1.0 0.0
2 M3 male C 10.0 22 4.0 22.0 NaN NaN
3 M4 male C 5.0 34 12.0 10.0 NaN NaN
4 F1 female B 6.0 11 22.0 24.0 20.0 16.0
5 F2 female A 19.0 4 6.0 NaN 4.0 0.0
6 F3 female A 20.0 23 19.0 15.0 10.0 1.0
7 F4 female B 22.0 7 4.0 2.0 2.0 14.0
8 F5 male C 5.0 7 13.0 19.0 9.0 4.0
9 F6 male C NaN 0 20.0 5.0 11.0 9.0

試したこと

https://stats.biopapyrus.jp/python/plot.htmlを参考にエクセルで作成したい折れ線グラフの条件（sexやcondition）で平均値と標準偏差を求め、それらの値を入力するとエラーバーつきの折れ線グラフを作成することはできました。

補足情報

プログラミング初心者です。これまでエクセルでの解析を行っていました。現在、エクセルにデータが大量に保存されているため、エクセルファイルをpython pupyterに読み込んで作業ができないかと考えています。

※jupyter Note book 6.0.1を使用しています。

ご教授のほど何卒よろしくお願いもうしあげます。

Comments

[jeanbiego]

「やりたいです」ではほとんど回答がこないと思います。
下記ヘルプを参考に、ご自分で書かれたコードを載せて、どこでつまずいているのか具体的に書かれると良いです。
https://teratail.com/help/question-tips

[aokikenichi]

標準偏差ではなく標準誤差ではないでしょうか

[ZJXestGVdjaPalt]

jeanbiego様
ご教示ありがとうございます。大変勉強になります。次回は「自分が作成しているコード」及び「なぜ上手くいかないか」を記載して質問したいと思います。ありがとうございました。

aokikenichi様
ご指摘の通り、標準偏差でなく標準誤差でした。ご教授ありがとうございました。

[aokikenichi]

良かったです

Answer 1

行いたいことが

1. Excelのファイルを読み込めること
2. 統計解析を行いたい

ということですのでデータ加工のためにpandasというパッケージを使うのが良いです。「pandas」「Excel」というキーワードで検索して頂ければ情報はたくさん見つかると思います。データが読み込めた後の話を書きます。

（１）標準偏差を帯状につけた折れ線グラフを作りたい。

day1, day2, ...が列となっていますので、df.melt()を使用して下記のような形に変形します。

	Num	sex	condition	day	value
0	M1	male	A	1	16.0
1	M1	male	A	3	19
2	M1	male	A	5	NaN
3	M1	male	A	7	NaN
4	M1	male	A	14	NaN
5	M1	male	A	28	NaN
6	M2	male	B	1	12.0
...

このような形式を作ればURLの例のようにプロットできます。以下サンプルコードです。

import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
from io import StringIO

# サンプルデータの準備
input_str = """
Num     sex condition  day1  day3  day5  Day7  Day14  Day28
0  M1    male         A  16.0    19   NaN   NaN    NaN    NaN
1  M2    male         B  12.0    19   5.0  12.0    1.0    0.0
2  M3    male         C  10.0    22   4.0  22.0    NaN    NaN
3  M4    male         C   5.0    34  12.0  10.0    NaN    NaN
4  F1  female         B   6.0    11  22.0  24.0   20.0   16.0
5  F2  female         A  19.0     4   6.0   NaN    4.0    0.0
6  F3  female         A  20.0    23  19.0  15.0   10.0    1.0
7  F4  female         B  22.0     7   4.0   2.0    2.0   14.0
8  F5    male         C   5.0     7  13.0  19.0    9.0    4.0
9  F6    male         C   NaN     0  20.0   5.0   11.0    9.0
"""
df = pd.read_csv(StringIO(input_str), delim_whitespace=True)

# DataFrameの形をNum, sex, condition, dayに変更
df2 = df.melt(id_vars=["Num", "sex", "condition"], var_name="days")
df2["days"] = df2.days.str.replace("day", "").str.replace("Day", "").astype(int)

ax = sns.lineplot(x="days", y="value", hue="sex", style="sex", data=df2)
plt.show()

（２）統計解析

こちらについてはscipyというパッケージがありますので、それを使用します。例えばMann-Whitney検定の場合はscipy.stats.mannwhitneyu()が利用できます。day1,day3等を等価に扱って良いということであれば、以下のようになります。

from scipy import stats

group1 = df2[df2.sex == "male"]["value"].dropna()
group2 = df2[df2.sex == "female"]["value"].dropna()
result = stats.mannwhitneyu(group1, group2)
print(result)

# 結果
# MannwhitneyuResult(statistic=295.0, pvalue=0.3849284125651019)

Comments

[ZJXestGVdjaPalt]

yymmt様

大変詳細なご説明ありがとうございます。
jeanbiego様にご指摘頂きましたが、私の不適切な質問にも関わらず丁寧なコードを載せてい頂きありがとうございます。お陰様で下記コードにて上手く実行できました。キモはmelt関数を用いて「整然データに書き換える（https://qiita.com/ishida330/items/922caa7acb73c1540e28）」ということなのですね、大変勉強になりました。

大変申しわけありませんが、可能であれば追加で2点質問させて下さい。

（１）df2["days"] = df2.days.str.replace("day", "").str.replace("Day", "").astype(int)の意味について

replace関数について調べてみましたが、「""」が理解できていません。「dayとDayを""に変換する」ということだと思っていますが、、、また、「df2.days.str.replace」も理解できていません。大変申しわけありませんが、簡単で結構で御座いますのでご説明頂けると幸いです。

（２）標準誤差の帯様表示
aokikenichi様にご指摘頂きました通り、正しくは標準偏差でなく標準誤差でした。ご教示頂いたseabornのlineplotのデフォルトは95%信頼区間のようです。https://sabopy.com/py/seaborn-4/を参考に「ax = sns.lineplot(x="days", y="value", hue="sex", style="sex", data=df2)」を「ax = sns.lineplot(x="days", y="value", ci='sd', hue="sex", style="sex", data=df2」とする（ci='sd'を追加する）と、標準偏差表示ができました。しかし、標準誤差を表示する方法を探せませんでした。もしご存じであればご教授お願い申し上げます。

～上手くいったコード～
import matplotlib.pyplot as plt
import seaborn as sns
import numpy as np
import pandas as pd

df = pd.read_excel('Python_test.xlsx')
df2 = df.melt(id_vars=["Num", "sex", "condition"], var_name="days")
df2["days"] = df2.days.str.replace("day", "").str.replace("Day", "").astype(int)

ax = sns.lineplot(x="days", y="value", hue="sex", style="sex", data=df2)
plt.show()

[yymmt]

(1)について
""は空の文字列を示していてreplace("day","")は"day"という文字列を消すという意味です(例示されたデータが先頭が小文字のdayと大文字のDayと2種類ありましたので2回行っています)。
df2.daysはdf2["days"]と同じ意味です。したがってdf2.days.str.replaceはdf2["days"].str.replaceと同じ意味になります。新たに作成したdaysという列を文字列として扱いreplaceで変換するという意味になります。詳細は公式ページのマニュアルを参照するのが良いです。
https://pandas.pydata.org/pandas-docs/stable/reference/series.html#api-series-str

(2)について
seabornのマニュアルを見ると確かにciで設定はできなさそうです。もしこれを行いたいとすると
1. sns.lineplot()を使うのをあきらめてmatplotlib.pyplot.fill_between()を使って頑張る
2. sns.lineplot()でci="se"のように標準誤差を使えるようにモンキーパッチを当てる
どちらもこのコメント欄に書くにはボリュームが多いです。

[ZJXestGVdjaPalt]

yymmt様
お返事ありがとうございます。
（１）大変よく理解できました。公式ページを参照しながら理解を深めたいと思います。
（２）今の私の力では解決できなさそうですので、今は諦めます。コード作成を継続し後日リトライしたいと思います。
本当にありがとうございました。