Python Pandas 既存csvに新規ローを追加

Question

業務上で必要になっため、素人ながらPythonのPandasなどを使い
データ処理のコーディングやっております。

現在ある生データテーブルをPandasに読み込み、
処理＆整形したあと、以下test.csvとして出力しようとしています。
このときローを識別するキーとして、ID/x/yカラムになります。

test.csv
|ID|x|y|・・・
|DD|5|5|・・・
|EE|5|6|・・・

やりたいことは、例えば初回処理で上記csvデータ出力、
後日新しい生データUPされたら、同じように処理＆整形して、
上記csvに新たなローとしてデータ追加、
このとき追加するローデータと既存csvのローデータに
キーカラムで重複データであれば、追加するローデータで
上書きするということを考えてます。

知識不足もあり、どのようなコードを書けばいいか＆またそもそも上記可能なのかもわからず、
情報少なく大変申し訳ないのですが、ご助言頂ければ幸いです

Answer 1

dfにインデックス（キー）をつけておくとよいです。
以下のようにdf.loc[key] = valで値をセットすると、キーの重複の有無によって自動的に追加または更新されます。

import pandas as pd
from io import StringIO

# テストデータ
s = """ID,x,y,v1,v2
A,1,1,10,100
B,2,2,20,200
C,3,3,30,300"""
df = pd.read_csv( StringIO(s), index_col=['ID','x','y'])
print(df)
"""
        v1   v2
ID x y
A  1 1  10  100
B  2 2  20  200
C  3 3  30  300
"""

for key, val in [[('D',4,4), (40,400)], # 追加される
                 [('A',1,1), (11,111)]]:# 更新される
    print( key, val)
    df.loc[key] = val

print(df)
"""
        v1   v2
ID x y
A  1 1  11  111
B  2 2  20  200
C  3 3  30  300
D  4 4  40  400
"""

###２つのデータフレームを結合

import pandas as pd
from io import StringIO

# テストデータ
s = """ID,x,y,v1,v2
A,1,1,10,100
B,2,2,20,200
C,3,3,30,300"""
df1 = pd.read_csv( StringIO(s), index_col=['ID','x','y'])

s = """ID,x,y,v1,v2
D,4,4,40,400
A,1,1,11,111"""
df2 = pd.read_csv( StringIO(s), index_col=['ID','x','y'])

df = pd.concat([df1, df2]).groupby(df1.index.names).last()

Comments

[DakeEnoki]

>cat110様
誠にありがとうございます、追加でお聞きしたいのですが
以下ご紹介例の追加＆更新したいローがdf0というdf、更新先テーブルが
sというdfで格納されてる場合、ご紹介いただいたようなfor文で
df0からローを取り出して、locでID/X/YをKeyに
df1にローを追加 or 更新するような処理は可能でしょうか？
色々試行錯誤してみたのですがうまくいかず。。
説明ざっくりで申し訳ありません。ご教授頂ければ幸いです。

df0
ID,x,y,v1,v2
D,4,4,40,400
A,1,1,11,111

s
ID x y v1 v2
A 1 1 10 100
B 2 2 20 200
C 3 3 30 300

[8524ba23]

df同士であれば簡潔に書けます。回答に追記しました。