2つのcsvを比較し計算する方法について

Question

●やりたいこと
二つのcsvを読み込み，データの差分を計算したいと考えています。
test1またtest2の読み込みを行い、以下のようにtest3に出力したいです。

test1.csv

id	name	data1	data2	data3	...	data20
001	a	10	20	20	...	20
002	b	10	25	20	...	20
003	c	30	20	15	...	40

test2.csv

id	name	data1	data2	data3	...	data20
001	a	20	25	30	...	30
002	b	10	40	30	...	30
003	c	20	0	5	...	30

test3.csv

id	name	data1	data2	data3	...	data20
001	a	10	5	10	...	10
002	b	0	15	10	...	10
003	c	-10	-20	-10	...	-10

●検討した内容
・各csvをdf1,df2として格納
・df3にdf1の内容をコピー　
・df3['data1']=df2['data1']-df1['data1']
df3['data2']=df2['data2']-df1['data2']　...　のように各カラムごとに計算

import pandas as pd
df1 = pd.read_csv('test1.csv')
df2 = pd.read_csv('test2.csv')

df3 = df1
df3['data1']=df2['data1']-df1['data1']
df3['data2']=df2['data2']-df1['data2']
.
.
df3['data20']=df2['data20']-df1['data20']
df3.to_csv('test3.csv')

●質問内容
現状の検討では、data数が増える分とても手間になります。
for文などでまとめて差分を計算できる方法はないでしょうか？
※今回のtestではdata1,data2などという名前にしていますが、実際はばらばらの名前のため、列の行数などを指定し計算できないかと考えています。

Comments

[8524ba23]

データの列数はdata1とdata2の２つだけという前提でもよいので
現状検討し実現できると思われるコードを提示ください。

[uguisu-21]

以下のように一つずつデータを読み込み、df3に置き換えていく作業です。

import pandas as pd
df1 = pd.read_csv('test1.csv')
df2 = pd.read_csv('test2.csv')

df3 = df1
df3['data1']=df2['data1']-df1['data1']
df3['data2']=df2['data2']-df1['data2']
.
.
.

df3.to_csv('test3.csv')

Answer 1

ilocを使うのが楽でしょう。

>>> print(df1)
   id name  data1  data2  data3  data20
0   1    a     10     20     20      20
1   2    b     10     25     20      20
2   3    c     30     20     15      40
>>> print(df2)
   id name  data1  data2  data3  data20
0   1    a     20     25     30      30
1   2    b     10     40     30      30
2   3    c     20      0      5      30
>>> df3 = df1.copy()
>>> df3.iloc[:,2:] = df1.iloc[:,2:] - df2.iloc[:,2:]
>>> print(df3)
   id name  data1  data2  data3  data20
0   1    a    -10     -5    -10     -10
1   2    b      0    -15    -10     -10
2   3    c     10     20     10      10

Comments

[uguisu-21]

単純なコードで実現できるという点でベストアンサーとさせていただきました。
ありがとうございました。

Answer 2

「id列とname列以外はすべて数値」という前提で回答します。

データフレームの要素がすべて数値であれば、-を使ってそれぞれの要素の差をまとめて計算できます。今回のデータフレームでは、name列の文字列が邪魔なので、name列をいったん削除して、後で挿入すればいいでしょう。

import pandas as pd
import io

txt1 = """
id,name,data1,data2,data3,data20
001,a,10,20,20,20
002,b,10,25,20,20
003,c,30,20,15,40
"""

txt2 = """
id,name,data1,data2,data3,data20
001,a,20,25,30,30
002,b,10,40,30,30
003,c,20,0,5,30
"""

df1 = pd.read_csv(io.StringIO(txt1), dtype={'id': 'str'})
df1.set_index('id', inplace=True)

df2 = pd.read_csv(io.StringIO(txt2), dtype={'id': 'str'})
df2.set_index('id', inplace=True)

df3 = df2.drop("name", axis=1) - df1.drop("name", axis=1)

df3.insert(0, "name", df1["name"])
print(df3)

    name  data1  data2  data3  data20
id
001    a     10      5     10      10
002    b      0     15     10      10
003    c    -10    -20    -10     -10

Comments

[uguisu-21]

ご回答ありがとうがございます。
"io"を使用したことがなかったため、勉強させていただきます。
ご協力ありがとうございました。