python 2つの列にある値の平均を別のDFに元DF列全ての平均を計算して順次貼付

Question

2つの列にある値の平均を別のデーターフレームに元データーフレーム列分　
平均を順次して貼付る方法を教えてください。

2つの列にある値の平均を別のデーターフレームに列の追加をすることは出来たのですが、
それを順次元とデーターフレームにある列分すべてを左から右に順番に平均を出して
別のデーターフレームに追加していく方法が分かりません。

ｙ＝１、ｙ＝０＋ｙとか無理やりやって1行だけ追加することが出来たのですが
そこから前に進めません。

宜しくお願い致します。

df_H2 = pd.DataFrame({'50': [860,950,1040,1140,1220,1390,1450],
'100': [880,970,1060,1160,1250,1450,1550],
'150': [890,1000,1080,1220,1330,1550,1650],
'200': [890,1030,1120,1270,1390,1650,1740],
'250': [910,1040,1150,1310,1470,1740,1830]},
index=['10', '20', '30','40','60','80','100'] )
df_H2 = df_H2.reset_index()
df_index = df_H2.iloc[:,[0]]
aves = []
for x,data in df_H2.iterrows():
x +=0
if x ==7:
break

ave = (df_H2.iloc[x,y]+df_H2.iloc[x,y+1])/2
aves.append(ave)
y=1    
y =0+y

df_index[y]=aves
_df = df_index
_df

Answer 1

解決済になっていますが、参考として別解を書いておきます。

---

numpyの関数np.convolve()、あるいはscipyの関数scipy.ndimage.convolve()を使うと簡単かつ高速に計算できます。
この関数は、配列[a, b, c, d]と重み配列[q, p]を渡すと、[ap+bq, bp+cq, cp+dq]という配列を返します。このとき重み配列[q, p]に[0.5, 0.5]を代入すれば、配列の隣り合った数の平均が求まります。

In [1]: import numpy as np
   ...: import pandas as pd
   ...: import scipy.ndimage

In [2]: df_H2 = pd.DataFrame({'50': [860, 950, 1040, 1140, 1220, 1390, 1450],
   ...:                       '100': [880, 970, 1060, 1160, 1250, 1450, 1550],
   ...:                       '150': [890, 1000, 1080, 1220, 1330, 1550, 1650],
   ...:                       '200': [890, 1030, 1120, 1270, 1390, 1650, 1740],
   ...:                       '250': [910, 1040, 1150, 1310, 1470, 1740, 1830]},
   ...:                      index=['10', '20', '30', '40', '60', '80', '100'])
   ...: df_H2
Out[2]:
       50   100   150   200   250
10    860   880   890   890   910
20    950   970  1000  1030  1040
30   1040  1060  1080  1120  1150
40   1140  1160  1220  1270  1310
60   1220  1250  1330  1390  1470
80   1390  1450  1550  1650  1740
100  1450  1550  1650  1740  1830

In [3]: df_H2.apply(np.convolve, result_type='expand', v=[.5, .5], mode='valid', axis=1)
Out[3]:
          0       1       2       3
10    870.0   885.0   890.0   900.0
20    960.0   985.0  1015.0  1035.0
30   1050.0  1070.0  1100.0  1135.0
40   1150.0  1190.0  1245.0  1290.0
60   1235.0  1290.0  1360.0  1430.0
80   1420.0  1500.0  1600.0  1695.0
100  1500.0  1600.0  1695.0  1785.0

In [4]: pd.DataFrame(scipy.ndimage.convolve(df_H2, [[.5, .5]])[:, :-1], index=df_H2.index)
Out[4]:
        0     1     2     3
10    870   885   890   900
20    960   985  1015  1035
30   1050  1070  1100  1135
40   1150  1190  1245  1290
60   1235  1290  1360  1430
80   1420  1500  1600  1695
100  1500  1600  1695  1785

応用していろいろなやり方がありますので以下に列挙します。

df_H2.apply(np.convolve, result_type='expand', v=[.5, .5], mode='valid', axis=1)
df_H2.apply(np.convolve, raw=True, v=[.5, .5], mode='same', axis=1).iloc[:, 1:]
pd.DataFrame(np.convolve(df_H2.to_numpy().ravel(), [.5, .5], 'same').reshape(-1, 5)[:, 1:], index=df_H2.index)
pd.DataFrame(scipy.ndimage.convolve(df_H2, [[.5, .5]])[:, :-1], index=df_H2.index)
df_H2.apply(scipy.ndimage.convolve, result_type='expand', weights=[.5, .5], axis=1).iloc[:, 1:]
df_H2.apply(scipy.ndimage.convolve, raw=True, weights=[.5, .5], axis=1).iloc[:, 1:]
pd.DataFrame(scipy.ndimage.convolve(df_H2, [[.5, .5]])[:, :-1], index=df_H2.index)

以下は速度の比較結果です。

In [11]: # @ppaul さんの方法
    ...: %timeit c = df_H2.columns; pd.concat([df_H2[[c[i], c[i+1]]].mean(axis=1) for i in range(len(c)-1)], axis=1)
    ...: # @ppaul さんの方法を修正したもの
    ...: %timeit pd.DataFrame({i: df_H2.iloc[:, [i, i+1]].mean(axis=1) for i in range(df_H2.shape[1]-1)})
3.24 ms ± 141 µs per loop (mean ± std. dev. of 7 runs, 100 loops each)
2.13 ms ± 11.3 µs per loop (mean ± std. dev. of 7 runs, 100 loops each)

In [12]: # np.convolve()を用いた方法
    ...: %timeit df_H2.apply(np.convolve, result_type='expand', v=[.5, .5], mode='valid', axis=1)
    ...: %timeit df_H2.apply(np.convolve, raw=True, v=[.5, .5], mode='same', axis=1).iloc[:, 1:]
    ...: %timeit pd.DataFrame(np.convolve(df_H2.to_numpy().ravel(), [.5, .5], 'same').reshape(-1, 5)[:, 1:], index=df_H2.index)
1.13 ms ± 37.6 µs per loop (mean ± std. dev. of 7 runs, 1000 loops each)
270 µs ± 4.84 µs per loop (mean ± std. dev. of 7 runs, 1000 loops each)
78.8 µs ± 1.74 µs per loop (mean ± std. dev. of 7 runs, 10000 loops each)

In [13]: # scipy.ndimage.convolve()及びscipy.ndimage.convolve1d()を用いた方法
    ...: %timeit df_H2.apply(scipy.ndimage.convolve1d, result_type='expand', weights=[.5, .5], axis=1).iloc[:, 1:]
    ...: %timeit df_H2.apply(scipy.ndimage.convolve1d, raw=True, weights=[.5, .5], axis=1).iloc[:, 1:]
    ...: %timeit pd.DataFrame(scipy.ndimage.convolve(df_H2, [[.5, .5]])[:, :-1], index=df_H2.index)
1.38 ms ± 15.6 µs per loop (mean ± std. dev. of 7 runs, 1000 loops each)
366 µs ± 9.11 µs per loop (mean ± std. dev. of 7 runs, 1000 loops each)
108 µs ± 1.35 µs per loop (mean ± std. dev. of 7 runs, 10000 loops each)

Comments

[jimmyjimmy]

ありがとうございます、凄すぎてまだ咀嚼できないのですがやってみます。

Answer 2

やりたいことがわかりませんので、二通り書いておきます。
どちらでもないのなら、やりたいことを質問に追加してください。

もし、全部の平均を出したいなら、

df_H2 = pd.DataFrame({'50': [860,950,1040,1140,1220,1390,1450],
'100': [880,970,1060,1160,1250,1450,1550],
'150': [890,1000,1080,1220,1330,1550,1650],
'200': [890,1030,1120,1270,1390,1650,1740],
'250': [910,1040,1150,1310,1470,1740,1830]},
index=['10', '20', '30','40','60','80','100'] )
df_H2_mean = df_H2.mean(axis=1).reset_index()
print(df_H2_mean)

実行結果

>>> print(df_H2_mean)
  index       0
0    10   886.0
1    20   998.0
2    30  1090.0
3    40  1220.0
4    60  1332.0
5    80  1556.0
6   100  1644.0

2列づつの平均を並べたいなら

df_H2 = pd.DataFrame({'50': [860,950,1040,1140,1220,1390,1450],
'100': [880,970,1060,1160,1250,1450,1550],
'150': [890,1000,1080,1220,1330,1550,1650],
'200': [890,1030,1120,1270,1390,1650,1740],
'250': [910,1040,1150,1310,1470,1740,1830]},
index=['10', '20', '30','40','60','80','100'] )
c = df_H2.columns
df_H2_mean2 = pd.concat([df_H2[[c[i], c[i+1]]].mean(axis=1) for i in range(len(c)-1)], axis=1)
print(df_H2_mean2)

実行結果

>>> print(df_H2_mean2)
          0       1       2       3
10    870.0   885.0   890.0   900.0
20    960.0   985.0  1015.0  1035.0
30   1050.0  1070.0  1100.0  1135.0
40   1150.0  1190.0  1245.0  1290.0
60   1235.0  1290.0  1360.0  1430.0
80   1420.0  1500.0  1600.0  1695.0
100  1500.0  1600.0  1695.0  1785.0

Comments

[jimmyjimmy]

ありがとうございます、2番目の方です。何日も悩んでなかなかできず投稿しました。

[jimmyjimmy]

df_H2_mean2 = pd.concat([df_H2[[c[i], c[i+1]]].mean(axis=1) for i in range(len(c)-1)], axis=1)

初歩的なことで申し訳ありません、[]の使い方がわかりません。
pd.concat([df_H2[[c[i], c[i+1]]].mean(axis=1) for i in range(len(c)-1)], axis=1)
一番外側が内包表記でfor文を使っている
df_H2[[c[i], c[i+1]]].mean(axis=1) for i in range(len(c)-1)
concatで結合のリスト
[c[i], c[i+1]]
meanで平均
でしょうか？

[jimmyjimmy]

解決できました、ありがとうございました。