[Python]indexが完全には一致しないデータフレーム達を連結したい

Question

前提・実現したいこと

商品の月ごと時間帯ごとの売上リストがあります。
商品名をIndexとし、朝の年次売上合計、昼の年次売上合計、夕の年次売上合計を1つのExcelシートにまとめたいです。

＜作りたい形＞

商品名 朝売上 昼売上 夕売上
りんご 100 300 100
みかん 100 400 40
ぶどう 500 100 200
バナナ 100 900 100

#商品名は5000種ほどあります。

現在、pandasからpivot_tableを用いて、時間帯ごとの集計を行い、
朝_年次_売上.xlsx
昼_年次_売上.xlsx
夕_年次_売上.xlsx
の3つのファイルが手元に出来ました。

発生している問題

朝・昼・夕の各売上集計ファイルに記載された商品名が完全には一致していないため（売上がないと商品名が記録されない）、出来上がった朝・昼・夕の売上集計ファイルをpandas.concat()でヨコに並べると、集計がずれてしまいます。

import pandas as pd
df_morning=[] #朝年次売上
df_noon=[] #昼年次売上
df_evening=[] #夕年次売上

df_all=pd.concat([df_morning,df_noon,df_evening], axis=1)

print(df_all) 

#以下、出力結果サンプルです（朝昼夕で商品名がずれてしまう）
商品名 朝売上 商品名 昼売上 商品名 夕売上
りんご 100 りんご 300 りんご 100
みかん 100 みかん 400 みかん 40
ぶどう 500 バナナ 100 ぶどう200
バナナ 100 すいか 900 すいか 100

試そうとしていること

pivot_tableでdf_morning, df_noon, df_eveningの商品名を3つまとめてpivot_tableのインデックスに読み込む方法がないか探しています。その後、3つまとめて作成したインデックスをもつpivot_tableに売上を集計すれば、朝・昼・夕で同じ商品名をもつ売上リストが出来るのでは？と思っています。しかしpivot_tableに複数のデータフレームから読み込む方法がまだ見つかりません。
それ以外の良い方法があればアドバイスをいただければ大変助かります。

Answer 1

pandas.DataFrameを結合するmerge, join（列・インデックス基準）の外部結合（outer_join）: how='outer'を使って結合すれば、そろえることができます。

存在しないところにはNaNが入りますので、pandasで欠損値NaNを除外（削除）・置換（穴埋め）・抽出に書かれている欠損値を置換（穴埋め）する: fillna()を使って0に変更するのがよいでしょう。

Comments

[Kozyma]

ppaulさま、いつも早々にアドバイスをくださりありがとうございます！
いただいたアドバイスと、調べついたサイトを参考にmergeを使ったら、まさに狙ったとおりの結果がでました！

~~~python

import pandas

df1=[] #朝年次売上
df2=[] #昼年次売上
df3=[] #夕年次売上

#productごとにsalseを集計する
salse1=df1.pivot_table(index="product", values="salse",aggfunc='sum', fill_value=0)
salse2=df2.pivot_table(index="product", values="salse",aggfunc='sum', fill_value=0)
salse3=df3.pivot_table(index="product", values="salse",aggfunc='sum', fill_value=0)

#mergeで結合する
df_12=salse1.merge(salse2, how="outer", left_on="product", right_on="product")
df_123=df_12.merge(salse3, how="outer", left_on="product", right_on="product")
df_123=df_123.fillna(0)

df_123.to_excel("年次集計_朝昼夕.xlsx")
~~~

<参考サイト>
https://obgynai.com/python-pandas-index-merge-join/

解決しましたので、ベストアンサーに選ばせていただきました。
can110さまに教えていただいた.joinで結合する方法については、今後またトライしたいと思います。

Answer 2

すべて商品名をインデックスにして.joinで結合すればよいです。

import pandas as pd
from io import StringIO

s = """product,sales_m
apple,100
orange,100
grape,500
banana,100"""
df_m = pd.read_csv(StringIO(s), index_col='product')

s = """product,sales_a
apple,300
orange,400
banana,100
melon,900"""
df_a = pd.read_csv(StringIO(s), index_col='product')

s = """product,sales_e
apple,100
orange,40
grape,200
melon,100"""
df_e = pd.read_csv(StringIO(s), index_col='product')

df = df_m.join([df_a, df_e])
df = df.fillna(0)
print(df)
"""
         sales_m  sales_a  sales_e
product
apple      100.0    300.0    100.0
orange     100.0    400.0     40.0
grape      500.0      0.0    200.0
banana     100.0    100.0      0.0
"""

Comments

[Kozyma]

can110さま、早速アドバイスをくださり、ありがとうございます。
set_index(”product”)で商品名をindexにしてやってみたのですが、バリューエラーがでました。

ValueError: Indexes have overlapping values: Index(['sales'], dtype='object')
＃salesというのが売上の列名です。

これは、商品名以外もindexになってしまったのかなと思い、エクセルに出力して確認しましたが、indexになっているのはproductだけでした。

示していただいたコードで、ioは使ったことがなかったのでset_index()を使いましたが、その手順を飛ばしたのがいけなかったのでしょうか･･･。