Python】pandasからピポッドテーブルで作ったデータから別のデータフレームに移したい

Question

お世話になります。
PythonのPandasのpivot tableで集計したデータを別のデータフレームに移そうと思っています。
下記のプログラムでopen_order_pivotのデータフレームからdf_outputにデータを移すことには成功しているのですが、
open_order_pivotはvalueをつかって「発注残」という項目を集計しています。
その結果、「発注残」という項目がColumnとして認識しておらず、df_outputというデータフレームに移行できませんでした。
open_order_pivotをprintすると、「発注残」という項目が確かにcolumnになっておらず、データを吸い出せませんでした。

open_order_pivotをエクセルに抽出すると、「発注残」という項目はcolumnとして入っていたので、
一度エクセルに出力して、再度そのエクセルから、df_open_order_pivotというデータフレームにいれてから
データを以降しているのですが、いちいちエクセルに出力することなくデータを移動することはできないでしょうか？
エラー画面はこちらです。

練習用に作っているダミーデータは下記のようなエクセルです。

アドバイスいただけますと幸いです。

最終的に完成させたいデータは下記のようなものです。
＊dummy1 dummy2の箇所は別のデータベースから持ってくる予定ですが、ここではまだ抽出してないのでNaNとなっています。

↓失敗したプログラム（一番したにうまくいったプログラムをいれていますが、コメントアウトだけ違います）

import os,sys
import shutil
import openpyxl
import xlrd
from pprint import pprint
import pandas as pd
#============================================================================
# ファイルの読み込み
TEST_DIR = "pivot_table.xlsx"
book = openpyxl.load_workbook(TEST_DIR) #ファイルの展開
sheet_name = book.sheetnames #シートの名前取得

#pandas でエクセルを取り込む
df_open_order = pd.read_excel(TEST_DIR,sheet_name[0]) #ファイルの展開

#取り込んだデータをピボットテーブルする
open_order_pivot = pd.pivot_table(data=df_open_order,
                              values=['発注残'],
                              index=['注文番号','部材','単価','発注数量'],
                              aggfunc='sum',
                              margins=True,margins_name='合計')
print(open_order_pivot)

#ピボットテーブルをエクセルに書き出す
#open_order_pivot.to_excel('temp.xlsx', sheet_name='sheet0')
#df_open_order_pivot = pd.read_excel('temp.xlsx','sheet0')

df_output_cols = ['注文番号','部材','単価','発注数量','発注残','dummy1','dummy2']
df_output = pd.DataFrame(index=[], columns=df_output_cols)

#ピボットからoutputに列をコピー
df_output.loc[:,'注文番号'] = open_order_pivot.loc[:,'注文番号']
df_output.loc[:,'部材'] = open_order_pivot.loc[:,'部材']
df_output.loc[:,'単価'] = open_order_pivot.loc[:,'単価']
df_output.loc[:,'発注数量'] = open_order_pivot.loc[:,'発注数量']
df_output.loc[:,'発注残'] = open_order_pivot.loc[:,'発注残']

#df_output.loc[:,'注文番号'] = df_open_order_pivot.loc[:,'注文番号']
#df_output.loc[:,'部材'] = df_open_order_pivot.loc[:,'部材']
#df_output.loc[:,'単価'] = df_open_order_pivot.loc[:,'単価']
#df_output.loc[:,'発注数量'] = df_open_order_pivot.loc[:,'発注数量']
#df_output.loc[:,'発注残'] = df_open_order_pivot.loc[:,'発注残']


print(df_output)

↓うまくいったプログラム

import os,sys
import shutil
import openpyxl
import xlrd
from pprint import pprint
import pandas as pd
#============================================================================
# ファイルの読み込み
TEST_DIR = "pivot_table.xlsx"
book = openpyxl.load_workbook(TEST_DIR) #ファイルの展開
sheet_name = book.sheetnames #シートの名前取得

#pandas でエクセルを取り込む
df_open_order = pd.read_excel(TEST_DIR,sheet_name[0]) #ファイルの展開

#取り込んだデータをピボットテーブルする
open_order_pivot = pd.pivot_table(data=df_open_order,
                              values=['発注残'],
                              index=['注文番号','部材','単価','発注数量'],
                              aggfunc='sum',
                              margins=True,margins_name='合計')
print(open_order_pivot)

#ピボットテーブルをエクセルに書き出す
open_order_pivot.to_excel('temp.xlsx', sheet_name='sheet0')
df_open_order_pivot = pd.read_excel('temp.xlsx','sheet0')

df_output_cols = ['注文番号','部材','単価','発注数量','発注残','dummy1','dummy2']
df_output = pd.DataFrame(index=[], columns=df_output_cols)

#ピボットからoutputに列をコピー
#df_output.loc[:,'注文番号'] = open_order_pivot.loc[:,'注文番号']
#df_output.loc[:,'部材'] = open_order_pivot.loc[:,'部材']
#df_output.loc[:,'単価'] = open_order_pivot.loc[:,'単価']
#df_output.loc[:,'発注数量'] = open_order_pivot.loc[:,'発注数量']
#df_output.loc[:,'発注残'] = open_order_pivot.loc[:,'発注残']

df_output.loc[:,'注文番号'] = df_open_order_pivot.loc[:,'注文番号']
df_output.loc[:,'部材'] = df_open_order_pivot.loc[:,'部材']
df_output.loc[:,'単価'] = df_open_order_pivot.loc[:,'単価']
df_output.loc[:,'発注数量'] = df_open_order_pivot.loc[:,'発注数量']
df_output.loc[:,'発注残'] = df_open_order_pivot.loc[:,'発注残']


print(df_output)

Answer 1

import os,sys
import shutil
import openpyxl
import xlrd
from pprint import pprint
import pandas as pd
#============================================================================
# ファイルの読み込み
TEST_DIR = "pivot_table.xlsx"
book = openpyxl.load_workbook(TEST_DIR) #ファイルの展開
sheet_name = book.sheetnames #シートの名前取得

#pandas でエクセルを取り込む
df_open_order = pd.read_excel(TEST_DIR,sheet_name[0]) #ファイルの展開

#取り込んだデータをピボットテーブルする
open_order_pivot = pd.pivot_table(data=df_open_order,
                              values=['発注残'],
                              index=['注文番号','部材','単価','発注数量'],
                              aggfunc='sum',
                              margins=True,margins_name='合計')
print(open_order_pivot)
open_order_pivot = open_order_pivot.reset_index() #追加した一行
print(open_order_pivot)

#ピボットテーブルをエクセルに書き出す
#open_order_pivot.to_excel('temp.xlsx', sheet_name='sheet0')
#df_open_order_pivot = pd.read_excel('temp.xlsx','sheet0')

df_output_cols = ['注文番号','部材','単価','発注数量','発注残','dummy1','dummy2']
df_output = pd.DataFrame(index=[], columns=df_output_cols)

#ピボットからoutputに列をコピー
df_output.loc[:,'注文番号'] = open_order_pivot.loc[:,'注文番号']
df_output.loc[:,'部材'] = open_order_pivot.loc[:,'部材']
df_output.loc[:,'単価'] = open_order_pivot.loc[:,'単価']
df_output.loc[:,'発注数量'] = open_order_pivot.loc[:,'発注数量']
df_output.loc[:,'発注残'] = open_order_pivot.loc[:,'発注残']

#df_output.loc[:,'注文番号'] = df_open_order_pivot.loc[:,'注文番号']
#df_output.loc[:,'部材'] = df_open_order_pivot.loc[:,'部材']
#df_output.loc[:,'単価'] = df_open_order_pivot.loc[:,'単価']
#df_output.loc[:,'発注数量'] = df_open_order_pivot.loc[:,'発注数量']
#df_output.loc[:,'発注残'] = df_open_order_pivot.loc[:,'発注残']


print(df_output)

Answer 2

欲しいもののイメージが良くわかりませんが、こういうものでしょうか。

>>> import pandas as pd
>>> import io
>>>
>>> indata = '''注文番号 部材 単価 発注数量 発注残
... purchase_01 part_01 1 100 10
... purchase_02 part_01 0.9 90 30
... purchase_03 part_02 2 1000 15
... purchase_04 part_02 2.1 900 2
... purchase_01 part_01 1.1 100 10
... purchase_01 part_01 1 100 10'''
>>>
>>> with io.StringIO(indata) as f:
...     df_open_order = pd.read_csv(f, sep=' +', engine='python')
...
>>> print(df_open_order)
          注文番号       部材   単価  発注数量  発注残
0  purchase_01  part_01  1.0   100   10
1  purchase_02  part_01  0.9    90   30
2  purchase_03  part_02  2.0  1000   15
3  purchase_04  part_02  2.1   900    2
4  purchase_01  part_01  1.1   100   10
5  purchase_01  part_01  1.0   100   10
>>> open_order_pivot = pd.pivot_table(data=df_open_order,
...                               values=['発注残'],
...                               index=['注文番号','部材','単価','発注数量'],
...                               aggfunc='sum',
...                               margins=True,margins_name='合計')
>>> df_output = open_order_pivot.reset_index()
>>> print(df_output)
          注文番号       部材   単価  発注数量  発注残
0  purchase_01  part_01  1.0   100   20
1  purchase_01  part_01  1.1   100   10
2  purchase_02  part_01  0.9    90   30
3  purchase_03  part_02  2.0  1000   15
4  purchase_04  part_02  2.1   900    2
5           合計                       77

Comments

[donadona999s]

アドバイスいただきましてありがとうございます。
少し説明を追加させていただきますと、Aというデータをピポッド処理してBというデータに入れたいのですが、Bというデータにはその他で処理されたCやDのデータを入れる必要があります。
そのためAをピポッド処理したデータをBに入れる練習をしています。
コメントいただきました内容はピポッドテーブルするプログラムかと思いますが、なぜか注文番号～発注数量までが、コラムとして見られていないようです。
そのため、dg_outputというデータフレームを用意して、open_order_pivotからデータを移植しようとしてもエラーが出てしまいます。
「df_output.loc[:,'注文番号'] = open_order_pivot.loc[:,'注文番号']」

そのためopen_order_pivotの結果を一度エクセルに吐き出して、再度読み込むことによって、無理やり変換していますが、エクセルにアクセスすると時間がかかるので、python上で完結しようとしています。

[donadona999s]

お世話になります。ご質問いただきました内容踏まえて、質問欄に記載しましたプログラムを修正しました。
df_output_cols = ['注文番号','部材','単価','発注数量','発注残','dummy1','dummy2']
* dummy1、dummy2を追加（他のデータベースから持ってくること想定。
また完成イメージの画像も追加しました。

[ppaul]

何が入力で、何が出力なのかが良くわかりません。
入力データの例(AとB)とそれから処理された結果が何なのかを、画像ではなく、Pythonに入力できる形で提示していただければ、たいていのものはできます。ただし、donadona999sさんが想定している方法とは全く異なったものになる可能j性があります。
とにかく処理をしたいのであれば、データと最終的に欲しいものを提示してください。
ご自身の考えているやりかたにこだわるのであれば、他の回答者に期待されたほうが宜しいかと思います。

[donadona999s]

お世話になります。お返事ありがとうございます。pandasでピポッドテーブルつくって集計した値のインデックスがずれることが問題で、ずっと悩んでいたのですが、reset_indexを一行挿入したところ、所望の動作ができました。大変お騒がせしました。