[python] pandasでデータ追加

Question

前提・実現したいこと

pandasを勉強中です。
DataFrameとして、Excelを読み込んで、指定した行にシリーズを追加したいです。

code1で実行すると、columns名:priceの列は追加できるのですが、
price_listのデータが追加されず、NaNとなってしまいます。
code2のようにindexをset, resetするとなぜか、price_listのデータが追加されます。
"df="もつけないと、データが追加されません。

なぜcode2だと、price_listのデータが追加できるのか教えて頂けますでしょうか？

該当のソースコード

#【code1】
df = pd.read_excel('test.xlsx')
df = df[df['month'] >= 202004]
price_list=[100, 2000, 3000, 400]
s = pd.Series(price_list)
df.insert(2, 'price', s)

#【code2】
df = pd.read_excel('test.xlsx')
df = df[df['month'] >= 202004]
#########
df = df.set_index('item')
df = df.reset_index()
#########
a=[100, 2000, 3000, 400]
s = pd.Series(price_list)
df.insert(2, 'price', s)

補足情報（FW/ツールのバージョンなど）

win10
vs code
python 3.8

Comments

[meg_]

どのようなExcelシートでしょうか？

Answer 1

pandasのデータフレームにシリーズを列として追加するさい、データフレームの行インデックスとシリーズのインデックスが比較されます。

たとえば、insertで指定した位置に新たな列を挿入する場合、

• 行インデックスと一致するシリーズのインデックスが見つかれば、データフレームにそのインデックスを持つシリーズの値が挿入されます。
• 行インデックスと一致するシリーズのインデックスが見つからなければ、データフレームにはNaNが挿入されます。
• シリーズの中に行インデックスに一致しないインデックスがあっても、そのインデックスを持つ値は単に無視されます(np.arrayを指定するときのようにエラーにはなりません)。

提示されたコードのようにExcelの文書ファイルを読み込むと、データフレームdfの行インデックスは0から始まる連番が自動的に付きます。
month列の値を使ってデータフレームの一部を切り出したものをデータフレームdfに再代入しても、データフレームの行インデックスは元の連番を受け継ぎます。Excelの文書ファイルの内容が未公開なので推測にすぎませんが、おそらく最初の行インデックスが3より大きな値になっていると思われます。

いっぽう、提示されたコードのようにリストprice_listからシリーズsを生成すると、シリーズの各要素には0から始まる連番のインデックスが付きます。提示されたコードでは、リストが4つの要素を持つので、シリーズのインデックスは0, 1, 2, 3となります。

これをinsertでdfに挿入するとき、dfの行インデックス(3より大きい値)にsのインデックス(0～3)と一致するものがないので、挿入される値がすべてNaNになる、というわけです。もし、dfの行インデックスのひとつだけ3以下であれば、シリーズの値がひとつだけ格納され、残りはNaNになります。

先頭行から順番にシリーズsの内容を挿入したいのであれば、(質問者もやっていましたが)データフレームdfの行インデックスを(0からの連番に)振り直せばいいでしょう。実は、この操作は1行でできるので、以下のようにしてください。

df.reset_index(drop=True, inplace=True)

drop=Trueで元の行インデックスの値を列として残さないこと、inplace=Trueでdfそのものを書き換えること(df = df.reset_index(...)と書かなくていいこと)を指示しています。

Comments

[ji-desuji]

非常に分かりやすい説明ありがとうございます！納得できました。