pandas pivotの後にmerge

Question

pandasでpivotした後に、列を追加したい

data,time,item,num,fav
20201010,0900,A,3,BB
20201010,0910,A,2,BB
20201010,0900,B,4,AA
20201010,0910,B,5,AA

df=pd.read_csv('File.csv')
matrix=df.pivot(index['date','time'],columns='time',values='item')

出力

          |||0900|0910|

|:--|:--:|--:|
|202010|A|3| 2|
||B|4| 5|

やりたい事

          |||0900|0910|fav

|:--|:--:|--:|
|202010|A|3| 2|BB
||B|4| 5|AA

上記のように元のデータからfavも付け足したいです。

試してみた事

matrix=matrix.merge(df['fav'],on=['date','item'])

pivotする前の形状に戻ってしまいました、、、
どのようにすれば良いでしょうか？

Answer 1

ええと、質問に提示されたCSVファイルやその後のコードに不備があります。

• CSVファイルの先頭行dataはdateの誤りだろう(後に書かれたコードから)。
• CSVファイルを読むさい、dtype={'time': str}を指定すべき。そのままだと数値と見なされ、time先頭の0埋めが消えてしまう。
• pivotを得るコードが誤り。表で提示されているpivotを得るには、インデックスにdateとitemを指定し、valuesにnumを指定する必要がある。

-matrix=df.pivot(index['date','time'],columns='time',values='item')
+matrix=df.pivot(index=['date', 'item'], columns='time', values='num')

これらを修正した上で、pivotするときにfavも一緒に読めばいい。values=['num', 'fav']とするか、オプション引数valuesの指定を省略する(と、index, columnsに使われていない列がすべてvaluesに使われる)。

すると、numと同様にfavもマルチインデックスの列として構成されるので、

               num       fav     
time          0900 0910 0900 0910
date     item
20201010 A       3    2   BB   BB
         B       4    5   AA   AA

こんな結果が得られる。もし、favをひとつにまとめたいのであれば、以下のコードの末尾あたりを参照。

import pandas as pd
import io

txt = """
date,time,item,num,fav
20201010,0900,A,3,BB
20201010,0910,A,2,BB
20201010,0900,B,4,AA
20201010,0910,B,5,AA
"""

df = pd.read_csv(io.StringIO(txt), dtype={'time': str})
# df = pd.read_csv('File.csv', dtype={'time': str})
# print(df)

matrix = df.pivot(index=['date', 'item'], columns='time', values=['num', 'fav'])
# print(matrix)

# favの列をひとつにする
matrix['tmp'] = matrix.iloc[:, 2]
matrix.drop(columns='fav', inplace=True)
matrix.rename(columns={'tmp': 'fav'}, inplace=True)

print(matrix)

               num      fav
time          0900 0910
date     item
20201010 A       3    2  BB
         B       4    5  AA

Comments

[kirara0048]

matrix = df.pivot(index=['date', 'item', 'fav'], columns='time', values='num').reset_index('fav')
でよいかとおもいます。

[Daregada]

それをreindexしてfavを列の右端に持って行くのが面倒じゃない?

[mn.py]

ご回答ありがとうございました！pivotするときにfavも一緒に読んで（数字のソートのキーに使うだけでしたので）、役目が終わってからdropで削除しました。最初のコードにもデータにも不備があり、ご迷惑おかけいたしました。
勉強になりました。ありがとうございました。