複数の試行から得られたデータの標準偏差と標準誤差を求める方法について

Question

前提・実現したいこと

5回分の試行があり、データのばらつきを見ようとしています。
試行の再現性の良さを明らかにすることを目的としています。
その再現性の良さを測る値として標準偏差と標準誤差を求めると良いと書かれていたので、
その２つをPythonで求めようとしています。

参考にしている統計に関する関数について書かれたページ

以下のように書いたのですが、センサ毎に５回の試行の再現性の良さを測るにはどうすればいいのか、
プログラムを書いている途中でつまずいてしまい、困っています。

発生している問題・エラーメッセージ

　今のまま実行すると以下のエラーメッセージが出ています。

AttributeError                            Traceback (most recent call last)
<ipython-input-7-48851e7431b4> in <module>()
----> 1 A = A.reshape(-1, num_sensors)

AttributeError: 'list' object has no attribute 'reshape'

該当のソースコード

import numpy as np
#5 回の試行
#[センサ1のデータ, センサ2, センサ3, センサ4, センサ5, センサ6, センサ7, センサ1....]
A = [2,5,6,6,8,9,9,10]
B = [2,5,6,6,8,8,10,16]
C = [1,2,4,5,7,13,15,13]
D = [3,5,6,7,9,10,10,11]
E = [3,5,8,10,11,12,13,10]

data = np.array(A)
A = A.reshape(-1, num_sensors)

試したこと

取得したいデータの標準偏差とは異なりますが、以下のようにすることで標準偏差を求められることはわかりました。

import numpy as np
#5 回の試行
#[センサ1のデータ, センサ2, センサ3, センサ4, センサ5, センサ6, センサ7, センサ1....]
A = [2,5,6,6,8,9,9,10]
B = [2,5,6,6,8,8,10,16]
C = [1,2,4,5,7,13,15,13]
D = [3,5,6,7,9,10,10,11]
E = [3,5,8,10,11,12,13,10]
np.std(A) #Aの標準偏差

#出力
2.4717149916606487

補足情報（FW/ツールのバージョンなど）

python3.6

回答を受けて追記

要素数が多すぎる場合など、以下のようにdict内に全ての要素を書くことができない場合、
このように書くとエラーになってしまうのですが、DataFrame関数外で要素を定義するときは
どのようにかけば良いのでしょうか。

 AA = [2,5,6,6,8,9,9,10]
 BB = [2,5,6,6,8,8,10,16]
 CC = [1,2,4,5,7,13,15,13]
 DD = [3,5,6,7,9,10,10,11]
 EE = [3,5,8,10,11,12,13,10]

df = pd.DataFrame(dict(AA,BB,CC,DD,EE))

エラー

---------------------------------------------------------------------------
TypeError                                 Traceback (most recent call last)
<ipython-input-37-1b563a54aab2> in <module>()
----> 1 df = pd.DataFrame(dict(AA,BB,CC,DD,EE))

TypeError: dict expected at most 1 arguments, got 5

Answer 1

pandas で DataFrame.describe() 使うことで 基本統計量は簡単に導くことはできますので
以下のようにシンプルに記述できます。

import numpy as np
import pandas as pd

df = pd.DataFrame(dict(
    A = [2,5,6,6,8,9,9,10],
    B = [2,5,6,6,8,8,10,16],
    C = [1,2,4,5,7,13,15,13],
    D = [3,5,6,7,9,10,10,11],
    E = [3,5,8,10,11,12,13,10],
    ))

print(df.describe())
#               A          B          C          D          E
#count   8.000000   8.000000   8.000000   8.000000   8.000000
#mean    6.875000   7.625000   7.500000   7.625000   9.000000
#std     2.642374   4.138236   5.451081   2.825269   3.464102
#min     2.000000   2.000000   1.000000   3.000000   3.000000
#25%     5.750000   5.750000   3.500000   5.750000   7.250000
#50%     7.000000   7.000000   6.000000   8.000000  10.000000
#75%     9.000000   8.500000  13.000000  10.000000  11.250000
#max    10.000000  16.000000  15.000000  11.000000  13.000000

ただ pandas はデフォルトで 不偏推定量であり、DataFrame.describe()も
出力する値は不偏推定量となります。(残念ながらddofのパラメータはないみたい)

どうしても標本標準偏差の値がほしいというのであれば DataFrame.std(ddof=0) を使う
ことになります。

import numpy as np
import pandas as pd

df = pd.DataFrame(dict(
    A = [2,5,6,6,8,9,9,10],
    B = [2,5,6,6,8,8,10,16],
    C = [1,2,4,5,7,13,15,13],
    D = [3,5,6,7,9,10,10,11],
    E = [3,5,8,10,11,12,13,10],
    ))

print(df.std(ddof=0))
#A    2.471715
#B    3.870966
#C    5.099020
#D    2.642797
#E    3.240370
#dtype: float64

Comments

[退会済みユーザー]

ご回答いただきましてありがとうございます。
回答を受けて質問に追記させていただきました。
よろしくお願いいたします。

[magichan]

df = pd.DataFrame({'AA':AA, 'BB':BB, 'CC':CC, 'DD':DD, 'EE':EE})

で良いかと思います。
dictのkeyに当たる部分 ('AA' や 'BB' ) が テーブルのカラム名になりますので、この部分をわかりやすい名前に変えるとよいかと思います。

[退会済みユーザー]

ありがとうございます。
こちらの都合で恐縮ですが、データを内部で定義/外部から読み込むとtype()関数で確認したところどちらも'list'だったのですが、基本統計量を確認しようとすると、外部から読み込んだ[[　]]二重鍵かっこのデータはエラーになってしまうようでした。
こちらは少し原因が別になりそうなので、別質問として投稿させていただきます。

[退会済みユーザー]

別質問として以下、質問させていただきました。
https://teratail.com/questions/193630?modal=q-comp

Answer 2

import numpy as np
from scipy import stats

A = [2,5,6,6,8,9,9,10]
B = [2,5,6,6,8,8,10,16]
C = [1,2,4,5,7,13,15,13]
D = [3,5,6,7,9,10,10,11]
E = [3,5,8,10,11,12,13,10]

# 1つの配列にまとめておく
data = np.vstack([A, B, C, D, E])

# 行方向でそれぞれの標準偏差を求める
print(data.std(axis=0, ddof=1)) # =>
# [0.74833148 1.2        1.26491106 1.72046505 1.356466   1.8547237
#  2.24499443 2.28035085]

# scipy.stats.semで標準誤差の計算
print(stats.sem(data, axis=0, ddof=1)) # =>
# [0.37416574 0.6        0.63245553 0.86023253 0.678233   0.92736185
#  1.12249722 1.14017543]

Answer 3

標準偏差は上記の通りno.std()で求められます。標準誤差ですが自分の知識不足のためnumpy、他のライブラリにそれを求める関数があるのか分かりません。

標準偏差/試行回数の平方根　　で求められます、今回の場合は　np.std(A)/len(A)**0.5で求まると思います

import numpy as np
A = [
    [2,5,6,6,8,9,9,10],\
    [2,5,6,6,8,8,10,16],\
    [1,2,4,5,7,13,15,13],\
    [3,5,6,7,9,10,10,11],\
    [3,5,8,10,11,12,13,10]
    ]

for i in A:
    s=np.std(i)
    print(s,s/(len(i)**0.5),sep='\n')

こちらのサイトを参考にさせて頂きました
18-5. 標準偏差と標準誤差