質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.50%
Python 3.x

Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

pandas

Pandasは、PythonでRにおけるデータフレームに似た型を持たせることができるライブラリです。 行列計算の負担が大幅に軽減されるため、Rで行っていた集計作業をPythonでも比較的簡単に行えます。 データ構造を変更したりデータ分析したりするときにも便利です。

Q&A

解決済

3回答

3136閲覧

python dataframeの結合方法について

wayaya

総合スコア30

Python 3.x

Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

pandas

Pandasは、PythonでRにおけるデータフレームに似た型を持たせることができるライブラリです。 行列計算の負担が大幅に軽減されるため、Rで行っていた集計作業をPythonでも比較的簡単に行えます。 データ構造を変更したりデータ分析したりするときにも便利です。

0グッド

0クリップ

投稿2017/08/01 15:02

pythonのdataframeの結合方法について質問があります。
既存の関数では、2つのdataframeを結合する際、dataframe1のn行目にdataframe2のm行目を
挿入する関数がなさそうなので作成しました。

しかし、想定通り動かず、下記のようになります。(2回目の呼び出しの場合、新しい列が追加される)
どこを修正すれば、理想に動くでしょうか?

input

indexABC
0forone11
1barone12
2fortwo13
indexDEF
0a10116:00
1b1029:00
2c10312:00
3d10421:00

output
1回目(想定通り)
|index|A|B|C|D|E|F|
|:--|:--:|--:|--:|
|0|for|one|11|
|1|bar|one|12|b|102|9:00|
|2|for|two|13|

2回目(想定外)
|index|A|B|C|D|E|F|D|E|F|
|:--|:--:|--:|--:|
|0|for|one|11|
|1|bar|one|12|b|102|9:00|
|2|for|two|13||||c|103|12:00|

理想
|index|A|B|C|D|E|F|
|:--|:--:|--:|--:|
|0|for|one|11|
|1|bar|one|12|b|102|9:00|
|2|for|two|13|c|103|12:00|

python

1#!/usr/bin/python3 2# -*- Coding: utf-8 -*- 3 4import pandas as pd 5 6 7# 2つのDFを結合、inputDF2のtarget_row行をinputDF1のinsert_row行に挿入する。 8def insert_data_frame(inputDF1, inputDF2, insert_row, target_row): 9 10 # 挿入行を格納 11 insert_df = pd.DataFrame(index=[target_row]) 12 insert_df = insert_df.append(inputDF2.iloc[insert_row]) 13 insert_df = insert_df.dropna(0) 14 insert_df.index = [insert_row] 15 16 # 2つのDFを結合 17 output_df = pd.concat([inputDF1, insert_df], axis = 1) 18 output_df.to_csv("test.csv") 19 20 return output_df 21 22 23def main(): 24 # 適当なDFを作成 25 df1 = pd.DataFrame({"A": ['foo', 'bar', 'foo'], 26 "B": ['one', 'one', 'two'], 27 "C": range(11, 14) 28 }) 29 30 df2 = pd.DataFrame({"D": ['a', 'b', 'c', 'd'], 31 "E": range(101, 105), 32 "F": ['16:00', '09:00', '12:00', '21:00'] 33 }) 34 35 insert_df = insert_data_frame(df1, df2, 1, 2) 36 37 #2回目想定通りの動作しない 38 insert_df = insert_data_frame(insert_df, df2, 2, 3) 39 print(insert_df) 40 41 42if __name__ == '__main__': 43 main() 44 45

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

guest

回答3

0

ベストアンサー

データの結合方法は tell_kさんの書かれているとおり、combine_first()が適当ではないかと思います。

が、他に気になる点がありましたので回等させていただきます。

まず、質問に挙げているコードではtarget_row引数がまっとうに動作していない気がします。

質問のコードにて

Python

1insert_data_frame(df1, df2, 1, 2)

target_row=2を指定しておりますので 本来 df2 の **3行目(index=2)**が挿入されなければならないのですが、結果は

1 bar one 12 b 102 9:00

と**2行目(index=1)**の値が挿入されております。(2回目の挿入も同様target_row=3を指定しているにもかかわらず、index=2の値が挿入されている)

これは本来**insert_data_frame()**関数内で、inputDF2.iloc[target_row] を挿入データとして作成するべきところを、inputDF2.iloc[insert_row] と記述していることが原因かと思います。

更にこのinsert_dataを作成している部分( #挿入行を格納 以下の部分)はかなり冗長な気がします。
ここでは単にinputDF2.iloc[target_row] をDataFrame化して indexをinsert_rowに変更しているだけなので、単純に

Python

1insert_data = pd.DataFrame([inputDF2.iloc[target_row]], index=[insert_row]))

で良いのではないでしょうか。

ということで、insert_data_frame()

Python

1def insert_data_frame(inputDF1, inputDF2, insert_row, target_row): 2 insert_data = pd.DataFrame([inputDF2.iloc[target_row]], index=[insert_row]) 3 output_df = insert_data.combine_first(inputDF1) 4 return output_df

または1行にまとめて

Python

1def insert_data_frame(inputDF1, inputDF2, insert_row, target_row): 2 return pd.DataFrame([inputDF2.iloc[target_row]], index=[insert_row]).combine_first(inputDF1)

と書けるのではないでしょうか。

投稿2017/08/02 04:11

magichan

総合スコア15898

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

wayaya

2017/08/03 12:49

先日に引き続き、回答ありがとうございます。 dataframeの挿入部分について難しいと思っていましたが、ご丁寧に解説していただいて理解できました。
guest

0

python

1- output_df = pd.concat([inputDF1, insert_df], axis = 1) 2+ output_df = insert_df.combine_first(inputDF1)

pd.concatではなく、combine_first を使うとうまくいきそうです。

https://stackoverflow.com/a/25145398

投稿2017/08/01 17:18

編集2017/08/02 12:36
tell_k

総合スコア2120

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

magichan

2017/08/02 04:13 編集

insert_df の値で inputDF1 を上書きするのですから output_df = insert_df.combine_first(inputDF1) とするべきかと思います。 (そうしないと、同じ行に2回関数を呼び出した時などに inputDF1の値の方が優先となるので上書きできないと思います。)
tell_k

2017/08/02 12:35

確かに magichan さんの言う通り、上書きする側とされる側を変えないとダメですね。そのように修正いたします。ご指摘ありがとうございます。
guest

0

挿入される側が空の場合は,combine_first
上書きの場合は,updateが使えそうです.

また, insert_df を作る部分は,

python

1insert_df = inputDF2.iloc[[target_row]].rename({target_row: insert_row})

と書くと短くかけます.

投稿2017/08/02 02:47

what_alnk

総合スコア147

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

wayaya

2017/08/03 12:43

回答ありがとうございます。 自分でも冗長だとは思っていましたが、1行でかけるんですね!
guest

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.50%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問