Pandas、groupbyでのapply(list)処理の後の列の追加について

Question

こんにちは。
Pandas、groupbyでのapply(list)処理の後の列の追加について

店名,名前,
A店,りんご,
A店,バナナ,
A店,みかん,
A店,いちご,
B店,りんご,
C店,りんご,
C店,バナナ,
D店,りんご,
E店,りんご,
E店,バナナ,
E店,みかん,

というCSVを読み込ませて

df.columns = ['店名', '品名', '品名2', '品名3', '品名4', '品名5']

と、列名を変えて

最終的に、「df.groupby」を使用して

店名,品名,品名2,品名3,品名4,品名5,
A店,りんご,バナナ,みかん,いちご,
B店,りんご,
C店,りんご,バナナ,
D店,りんご,
E店,りんご,バナナ,みかん,

というCSVデータ出力を目指したいのですが、

まずCSV側が

店名,名前,名前,名前,名前,名前,
A店,りんご,,,,,
A店,バナナ,,,,,
A店,みかん,,,,,
A店,いちご,,,,,
B店,りんご,,,,,
C店,りんご,,,,,
C店,バナナ,,,,,
D店,りんご,,,,,
E店,りんご,,,,,
E店,バナナ,,,,,
E店,みかん,,,,,

のdf.columns = ['店名', '品名', '品名2', '品名3', '品名4', '品名5'] にあわせた6列だと

のようにちゃんとなりますが、

店名,名前,
A店,りんご,
A店,バナナ,
A店,みかん,
A店,いちご,
B店,りんご,
C店,りんご,
C店,バナナ,
Ｄ店,りんご,
Ｅ店,りんご,
Ｅ店,バナナ,
Ｅ店,みかん,

だと、

となります。

ここまでは、前回質問しておかげさまで回答を得て、

のように、ばっちり完璧に変更できました！

そこでこのコード応用してみようと思い

別途、過去いろいろな方法での皆さんからの回答をいただいたものを一つずつ試そうと
今回はgroupbyでのapply(list)処理を使ったものでデータを加工して

店名,品名,品名2,品名3,品名4,品名5,
A店,りんご,バナナ,みかん,いちご,
B店,りんご,
C店,りんご,バナナ,
D店,りんご,
E店,りんご,バナナ,みかん,

を目指したのですが、

x = df.groupby('店名', sort=False)['名前'].apply(list)

df2 = pd.DataFrame(x.to_list(), index=x.index)

df2.columns = ['店名', '品名', '品名2', '品名3', '品名4', '品名5']

の折、同じく

valueError: Length mismatch: Expected axis has 4 elements, new values have 6 elements エラーが出ます。

ただしdf2.columns = ['店名', '品名', '品名2', '品名3', '品名4', '品名5']を省くとエラーが出ないもの

があり、例によって列が足らないエラーと思い
そこで前回同様にエラー回避しようと※画像2の手順でやったり順番を入れ替えたり色々してみたのですが

と、なってしまいます。

.groupby～の処理後

店名,品名,品名2,品名3,品名4,品名5,
A店,りんご,バナナ,みかん,いちご,
B店,りんご,
C店,りんご,バナナ,
D店,りんご,
E店,りんご,バナナ,みかん,

へと、うまく成形できないものでしょうか？
宜しくお願いします。

Answer 1

こちらの処理

x = df.groupby('店名', sort=False)['名前'].apply(list)
df2 = pd.DataFrame(x.to_list(), index=x.index)

では、店名と名前の列しか使っていません。
なので、この処理の前に列を増やしても意味がありません。

これをやったあとに、列を増やす処理を入れて、そのあとに名前を変更すればいいです。

x = df.groupby('店名', sort=False)['名前'].apply(list)
df2 = pd.DataFrame(x.to_list(), index=x.index)

column_max = 6
df2 = df2.reindex(columns=range(column_max - 1)).reset_index()
df2.columns = ['店名', '品名', '品名2', '品名3', '品名4', '品名5']

ここではreindex(columns=)を使って列を増やしていますが、元のやり方でやる場合は、先にreset_index()してからやってください。

Comments

[eqeqe]

bsdfanさんいつもありがとうございます。すごい！出来ましたINDEXをリセットしないといけなかったのですね！
また一つ勉強になりました！ありがとうございます！

Answer 2

df_result = pd.DataFrame(zip(*zip_longest(*x, fillvalue=float("nan"))),
                         index=x.index,
                         columns=['品名1', '品名2', '品名3', '品名4'])
# 品名5がほしければ空の列を追加してください

---

これは本当はpandasを使わない方が簡単です。動作確認していませんが、以下みたいな感じで。

import csv
from collections import defaultdict

with open("filename.csv", "r") as input_file, open("filename.csv", "w") as output_file:
    d = defaultdict(list)
    reader = csv.DictReader(input_file)
    for line in reader:
        d[line["店名"]].append(line["名前"])
        
    writer = csv.writer(output_file)
    writer.writerow(["店名", "品名", "品名2", "品名3", "品名4", "品名5"])
    for k in d:
        writer.writerow([k, *d[k]])
        

Comments

[eqeqe]

hayataka2049さんありがとうございます！コピペさせて戴いてやってみたらできました！！
すごくわかりやすい書き方なんですね、勉強になります！今回はgroupbyでのapply(list)処理の後前提だったので他の方にBAしましたがPandas以外を使うというのも大事なんだなと教えられました。またご教示のほどよろしくお願いします！