python dataframeの結合方法について

Question

pythonのdataframeの結合方法について質問があります。
2つのdataframeがあり、片方の行をもう片方に挿入することがしたいです。
1行だけ挿入することは、出来たのですが複数行を一括で挿入することができません。

どこを修正すれば、理想的に動くでしょうか？

input

index	A	B	C
0	for	one	11
1	bar	one	12
2	for	two	13

index	D	E	F
0	a	101	16:00
1	b	102	9:00
2	c	103	12:00
3	d	104	21:00

output
1行挿入 (想定通り)
|index|A|B|C|D|E|F|
|:--|:--:|--:|--:|
|0|for|one|11|
|1|bar|one|12|c|103|12:00|
|2|for|two|13|

複数挿入(想定外)

※表で表すことが難しいため画像張ります

理想
|index|A|B|C|D|E|F|
|:--|:--:|--:|--:|
|0|for|one|11|
|1|bar|one|12|c|103|12:00|
|1||||d|104|21:00|
|2|for|two|13|

#!/usr/bin/python3
# -*- Coding: utf-8 -*-

import pandas as pd


# 2つのDFを結合、inputDF2のtarget_row行をinputDF1のinsert_row行に挿入する。
def insert_data_frame(inputDF1, inputDF2, insert_row, target_row):
    insert_data = pd.DataFrame([eval("inputDF2.iloc[{}]".format(target_row))], index=[insert_row])
    output_df = insert_data.combine_first(inputDF1)

    return output_df


def main():
    # 適当なDFを作成
    df1 = pd.DataFrame({"A": ['foo', 'bar', 'foo'],
                        "B": ['one', 'one', 'two'],
                        "C": range(11, 14)
                        })

    df2 = pd.DataFrame({"D": ['a', 'b', 'c', 'd'],
                        "E": range(101, 105),
                        "F": ['16:00', '09:00', '12:00', '21:00']
                        })

    # insert_df = insert_data_frame(df1, df2, 1, "2")   # 想定通り動作
    insert_df = insert_data_frame(df1, df2, 1, "2:3")   # 想定外の動作をする
    insert_df.to_csv("test.csv")
    print(insert_df)


if __name__ == '__main__':
    main()

Answer 1

まず想定通りの動作しないのは、DataFrame を Indexing した場合はの結果は Series で得られるのですが、Slice した結果は DataFrame で得られることが原因となります。
つまり df2.iloc[2]の結果はSeriesですが、df2.iloc[2:4]の結果は DataFrameとなります。

ですのでとりあえずは、eval()結果の型がDataFrameかSeriesかによってその後の処理を変えるとよいのではないでしょうか。

とりあえず下にサンプルを書きましたが、もう少し良い方法がある気がします。

def insert_data_frame(inputDF1, inputDF2, insert_row, target_row):
    data = eval("inputDF2.iloc[{}]".format(target_row))
    if isinstance(data, pd.DataFrame):
        data.index = [insert_row] * data.shape[0]
        insert_data = data
    else:
        insert_data = pd.DataFrame([data], index=[insert_row])

    output_df = insert_data.combine_first(inputDF1)

    return output_df

Comments

[wayaya]

いつもお世話になってます。
1行指定するのと2行以上指定するのでは、型が変わるんですね。
理想通りに動きました、ありがとうございます！