python dataframeの結合方法について

解決済

回答 3

投稿

  • 評価
  • クリップ 0
  • VIEW 1,065

wayaya

score 29

pythonのdataframeの結合方法について質問があります。
既存の関数では、2つのdataframeを結合する際、dataframe1のn行目にdataframe2のm行目を
挿入する関数がなさそうなので作成しました。

しかし、想定通り動かず、下記のようになります。(2回目の呼び出しの場合、新しい列が追加される)
どこを修正すれば、理想に動くでしょうか?

input

index A B C
0 for one 11
1 bar one 12
2 for two 13
index D E F
0 a 101 16:00
1 b 102 9:00
2 c 103 12:00
3 d 104 21:00

output
1回目(想定通り)

index A B C D E F
0 for one 11
1 bar one 12 b 102 9:00
2 for two 13

2回目(想定外)

index A B C D E F D E F
0 for one 11
1 bar one 12 b 102 9:00
2 for two 13 c 103 12:00

理想

index A B C D E F
0 for one 11
1 bar one 12 b 102 9:00
2 for two 13 c 103 12:00
#!/usr/bin/python3
# -*- Coding: utf-8 -*-

import pandas as pd


# 2つのDFを結合、inputDF2のtarget_row行をinputDF1のinsert_row行に挿入する。
def insert_data_frame(inputDF1, inputDF2, insert_row, target_row):

    # 挿入行を格納
    insert_df = pd.DataFrame(index=[target_row])
    insert_df = insert_df.append(inputDF2.iloc[insert_row])
    insert_df = insert_df.dropna(0)
    insert_df.index = [insert_row]

    # 2つのDFを結合
    output_df = pd.concat([inputDF1, insert_df], axis = 1)
    output_df.to_csv("test.csv")

    return output_df


def main():
    # 適当なDFを作成
    df1 = pd.DataFrame({"A": ['foo', 'bar', 'foo'],
                        "B": ['one', 'one', 'two'],
                        "C": range(11, 14)
                        })

    df2 = pd.DataFrame({"D": ['a', 'b', 'c', 'd'],
                        "E": range(101, 105),
                        "F": ['16:00', '09:00', '12:00', '21:00']
                        })

    insert_df = insert_data_frame(df1, df2, 1, 2)

    #2回目想定通りの動作しない
    insert_df = insert_data_frame(insert_df, df2, 2, 3)
    print(insert_df)


if __name__ == '__main__':
    main()
  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

回答 3

checkベストアンサー

+2

データの結合方法は tell_kさんの書かれているとおり、combine_first()が適当ではないかと思います。

が、他に気になる点がありましたので回等させていただきます。

まず、質問に挙げているコードではtarget_row引数がまっとうに動作していない気がします。

質問のコードにて

insert_data_frame(df1, df2, 1, 2)


target_row=2を指定しておりますので 本来 df2 の 3行目(index=2)が挿入されなければならないのですが、結果は

1 bar one 12 b 102 9:00

2行目(index=1)の値が挿入されております。(2回目の挿入も同様target_row=3を指定しているにもかかわらず、index=2の値が挿入されている)

これは本来insert_data_frame()関数内で、inputDF2.iloc[target_row] を挿入データとして作成するべきところを、inputDF2.iloc[insert_row] と記述していることが原因かと思います。

更にこのinsert_dataを作成している部分( #挿入行を格納 以下の部分)はかなり冗長な気がします。
ここでは単にinputDF2.iloc[target_row] をDataFrame化して indexをinsert_rowに変更しているだけなので、単純に

insert_data = pd.DataFrame([inputDF2.iloc[target_row]], index=[insert_row]))

で良いのではないでしょうか。

ということで、insert_data_frame()

def insert_data_frame(inputDF1, inputDF2, insert_row, target_row):
    insert_data = pd.DataFrame([inputDF2.iloc[target_row]], index=[insert_row])
    output_df = insert_data.combine_first(inputDF1)
    return output_df

または1行にまとめて

def insert_data_frame(inputDF1, inputDF2, insert_row, target_row):
    return pd.DataFrame([inputDF2.iloc[target_row]], index=[insert_row]).combine_first(inputDF1)

と書けるのではないでしょうか。

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2017/08/03 21:49

    先日に引き続き、回答ありがとうございます。
    dataframeの挿入部分について難しいと思っていましたが、ご丁寧に解説していただいて理解できました。

    キャンセル

+2

- output_df = pd.concat([inputDF1, insert_df], axis = 1)
+ output_df = insert_df.combine_first(inputDF1)

pd.concatではなく、combine_first を使うとうまくいきそうです。

https://stackoverflow.com/a/25145398

投稿

編集

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2017/08/02 13:12 編集

    insert_df の値で inputDF1 を上書きするのですから
    output_df = insert_df.combine_first(inputDF1)
    とするべきかと思います。

    (そうしないと、同じ行に2回関数を呼び出した時などに inputDF1の値の方が優先となるので上書きできないと思います。)

    キャンセル

  • 2017/08/02 21:35

    確かに magichan さんの言う通り、上書きする側とされる側を変えないとダメですね。そのように修正いたします。ご指摘ありがとうございます。

    キャンセル

+1

挿入される側が空の場合は,combine_first
上書きの場合は,updateが使えそうです.

また, insert_df を作る部分は,

insert_df = inputDF2.iloc[[target_row]].rename({target_row: insert_row})

と書くと短くかけます.

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2017/08/03 21:43

    回答ありがとうございます。
    自分でも冗長だとは思っていましたが、1行でかけるんですね!

    キャンセル

15分調べてもわからないことは、teratailで質問しよう!

  • ただいまの回答率 90.22%
  • 質問をまとめることで、思考を整理して素早く解決
  • テンプレート機能で、簡単に質問をまとめられる