データフレームを結合し、名前の変更と加重平均を算出する

Question

前提

材料開発においてMIを使用したいと考えております。
材料a,b,cを比率a : b : c=A:B:Cで混合する実験を想定しています。a,b,cには種類があり、例えばaはa_1とa_2があります。
a,b,cにはそれぞれx,y,zという特性値をもっており、別のデータフレームにまとまっています。

行いたいことは、材料の混合比率表に特性値を結合し、どの材料の特性値かが分かるようにしたいです。
更に特性値ごとに材料の添加量で加重平均を計算したカラムを新たに追加したいです。

一つずつ書くことはできるのですが、実データでは膨大な特性値がありプログラム化したいです。
for文などがよくわかっておらず、困っております。大変恐縮ですが、どなたかお詳しい方ご教授いただけないでしょうか。

実現したいこと

以下のコードをプログラム化する

発生している問題・エラーメッセージ

エラーメッセージ

該当のソースコード

import pandas as pd

# 材料a,b,cを比率a:b:c=A:B:Cで混合する
# a,b,cには種類があり、例えばaはa_1とa_2があります。
df = pd.DataFrame({'a': ['a_1', 'a_1', 'a_2'], 'b': ['b_1', 'b_2', 'b_3'], 'c':['c_1', 'c_1', 'c_2']
                  ,'A':[0.5,0.2,0.3],'B':[0.2,0.3,0.4],'C':[0.3,0.5,0.3]})

# a,b,cはそれぞれx,y,zという特性値をもっており、別のデータフレームにまとまっています。
df_a = pd.DataFrame({'a':['a_1','a_2'],'x': [1, 2], 'y': [4, 5],'z':[7, 8]})
df_b = pd.DataFrame({'b':['b_1','b_2','b_3'],'x': [3, 4, 5], 'y': [6, 7, 8],'z':[9, 10, 11]})
df_c = pd.DataFrame({'c':['c_1','c_2'],'x': [5, 6], 'y': [8, 9],'z':[11, 12]})

# 材料の混合表(df)に特性値(df_a,df_b,df_c)を結合し、どの材料の特性値かが分かるようにする
df_new = df.merge(df_a,on='a')
df_new = df_new.rename(columns={'x':'x_a','y':'y_a','z':'z_a'})
df_new = df_new.merge(df_b,on='b')
df_new = df_new.rename(columns={'x':'x_b','y':'y_b','z':'z_b'})
df_new = df_new.merge(df_c,on='c')
df_new = df_new.rename(columns={'x':'x_c','y':'y_c','z':'z_c'})

# 特性値ごとに材料の添加量で加重平均を計算したカラムを新たに追加
df_new['x_ave'] = (df_new['x_a']*df_new['A']+df_new['x_b']*df_new['B']+df_new['x_c']*df_new['C'])/(df_new['A']+df_new['B']+df_new['C'])
df_new['y_ave'] = (df_new['y_a']*df_new['A']+df_new['y_b']*df_new['B']+df_new['y_c']*df_new['C'])/(df_new['A']+df_new['B']+df_new['C'])
df_new['z_ave'] = (df_new['z_a']*df_new['A']+df_new['z_b']*df_new['B']+df_new['z_c']*df_new['C'])/(df_new['A']+df_new['B']+df_new['C'])

試したこと

ここに問題に対して試したことを記載してください。

補足情報（FW/ツールのバージョンなど）

ここにより詳細な情報を記載してください。

Answer 1

そもそもなのですが、私なら元データを以下のように管理します。

• 材料は'a_1' -> type='a' + id='1' のように種別(type)と種別内での識別番号(id)の組として管理する
• 混合表と特性表は正規化する（列毎ではなく行毎にデータを持たせる）

上記によって、以下のコード例のように一般的なpandas演算操作のみで目的の値を得ることができます。
また、材料や特性が増えても、処理コードはほぼ変更する必要なく動作する、というメリットもあります。

なお、結果の見やすさのために行毎のデータを列毎に展開したい場合は基本的にはpivot_tableが使えます。

import pandas as pd
from io import StringIO

# 混合表
s = """mix_id,mat_type,mat_id,mix_ratio
1,a,1,0.5
1,b,1,0.2
1,c,1,0.3
2,a,1,0.2
2,b,2,0.3
2,c,1,0.5
3,a,2,0.3
3,b,3,0.4
3,c,2,0.3"""
df_mix = pd.read_csv(StringIO(s))

# 特性表
s = """mat_type,mat_id,char_type,char_val
a,1,x,1
a,1,y,4
a,1,z,7
a,2,x,2
a,2,y,5
a,2,z,8
b,1,x,3
b,1,y,6
b,1,z,9
b,2,x,4
b,2,y,7
b,2,z,10
b,3,x,5
b,3,y,8
b,3,z,11
c,1,x,5
c,1,y,8
c,1,z,11
c,2,x,6
c,2,y,9
c,2,z,12"""
df_char = pd.read_csv(StringIO(s))

# 混合表と特性表を結合し特性毎に混合比率に応じた値を算出
df_merge = pd.merge(df_mix, df_char, on=['mat_type', 'mat_id'], how='outer')
df_merge = df_merge.sort_values(['mix_id', 'mat_type', 'mat_id', 'char_type'])
df_merge['val'] = df_merge['char_val'] * df_merge['mix_ratio']
#print(df_merge)

# 特性毎の値を集計演算
df_val = df_merge.groupby(['mix_id', 'char_type']).sum('val').reset_index() # 提示例に合わせて平均ではなく合計を算出
df_val = df_val[['mix_id','char_type','val']]
#print(df_val)

# 混合表にて材料を列に展開
df_pmix = pd.pivot_table(df_mix, index='mix_id', columns=['mat_type'])
#print(df_pmix)

# 集計表にて物性を列に展開
df_pval = pd.pivot_table(df_val, index='mix_id', columns=['char_type'])
#print(df_pval)

# それぞれ列展開した混合表と集計表を結合
df = pd.merge(df_pmix, df_pval, on='mix_id')
print(df)
"""
         mat_id       mix_ratio            val
mat_type      a  b  c         a    b    c    x    y     z
mix_id
1             1  1  1       0.5  0.2  0.3  2.6  5.6   8.6
2             1  2  1       0.2  0.3  0.5  3.9  6.9   9.9
3             2  3  2       0.3  0.4  0.3  4.4  7.4  10.4
"""

Comments

[YYjiji]

can110様ご回答ありがとうございます。私には高度すぎて内容が理解できていないのですが、勉強させていただきます。データ管理についてもアドバイスいただきましてありがとうございます。ベストアンサーとさせていただきます。