毎日データがばらばらのPOSデータをcsvファイルにうまくまとめたい

Question

こんにちは。
私は飲食店で働いていて、お店のPOSデータがスクレイピングできるようになったので
その日のフードやドリンクの出数などを毎日csvファイルにまとめて後日分析できるようにしたいのですが、
POSデータがその日に売れた商品のみ記録、表にしているため毎日データがばらばらです。

具体的には、
7月11日
バーガーA:10個
バーガーB:12個
ドリンクA:8個

7月12日
バーガーA:9個
バーガーC:3個
ドリンクB:7個
デザートA:1個

といった形です。
その日のデータだけなら、各商品名をヘッダーにして数量をcsvファイルに出力することができるのですが、
後日ヘッダーにない商品が出てきた際にcsvファイルを作り直すもしくは追記する方法としてよい方法が思いつきません。
例えば、
||バーガーA|バーガーB|ドリンクA|
|:--:|:--:|:--:|:--:|
|7月11日|10個|12個|8個|

としていたものを

	バーガーA	バーガーB	バーガーC	ドリンクA	ドリンクB	デザートA
7月11日	10個	12個	0個	8個	0個	0個
7月12日	9個	0個	3個	0個	7個	1個

というように拡張してcsvファイルに保存したいです。
理由はこのような形のほうがpandasなどで分析する際にやりやすいと考えているからです。
現状、csvファイルを作る際には、seleniumのwebdriverでスクレイピングしたデータをBeautifulSoupでパースして、テキストデータを辞書型として変数に格納して、ライブラリcsvのDictWriteで書き込んでいます。
既存のライブラリ、サードパーティーのライブラリ含めてよい方法があればご教授願います。

Comments

[hentaiman]

一般的な飲食店ではメニューが可変なので、質問者の希望するデータの持ち方だと無限にヘッダーが増え続ける事になりますが問題無いですか？

Answer 1

pandasのmerge関数を使えば同じカラム名でマージをしてくれます。

import pandas as pd
from io import StringIO

s1 = '''日付,バーガーA,バーガーB,ドリンクA
2020/07/11,10個,12個,8個'''
df1 = pd.read_csv(StringIO(s1))

s2 = '''日付,バーガーA,バーガーC,ドリンクB,デザートA
2020/07/12,9個,3個,7個,1個'''
df2 = pd.read_csv(StringIO(s2))

dfm = pd.merge(df1, df2, how='outer').fillna('0個')
print(dfm)

'''
            日付 バーガーA バーガーB ドリンクA バーガーC ドリンクB デザートA
0  2020/07/11   10個   12個    8個    0個    0個    0個
1  2020/07/12    9個    0個    0個    3個    7個    1個
'''

Comments

[hermitcrab56]

マージとは！？StringIO！？という状態でしたが、調べてみて現状自分が最も理想としている入力→出力の形に近いと感じました。
StringIOも便利で、テストの段階においてすごく役に立ちそうです。
回答ありがとうございました。

Answer 2

理由はこのような形のほうがpandasなどで分析する際にやりやすいと考えているからです。

商品の種類が増える可能性があるのであればデータは「縦持ち」のほうがよいです。
横持にしたければpivot_tableを使えばよいです。

追記

たとえば「商品」ではなく「ハンバーガー」「ジュース」などの大まかな商品グループ毎に集計したくなった場合、横持だと大変です。
縦持ちなら、集計対象でグルーピングしてpivot_tableするだけですみます。

import pandas as pd
import numpy as np

# テストデータ。日々追記される
from io import StringIO
s = """日付,商品,個数
2020/07/11,バーガーA,10
2020/07/11,バーガーB,12
2020/07/11,ドリンクA,8
2020/07/12,バーガーA,9
2020/07/12,バーガーC,3
2020/07/12,ドリンクB,7
2020/07/12,デザートA,1"""
df = pd.read_csv(StringIO(s))

# 個数を集計して、ついでに合計行と列も出す(margins=True)
df2 = pd.pivot_table(df, index='日付', columns='商品', values='個数', margins=True, aggfunc=np.sum)
df2 = df2.fillna(0)
print(df2)
#商品          デザートA  ドリンクA  ドリンクB  バーガーA  バーガーB  バーガーC  All
#日付
#2020/07/11    0.0    8.0    0.0   10.0   12.0    0.0   30
#2020/07/12    1.0    0.0    7.0    9.0    0.0    3.0   20
#All           1.0    8.0    7.0   19.0   12.0    3.0   50


# 商品グループ毎に同様の集計を行う

df['商品グループ'] = df['商品'].str.replace('[A-Z]','')

df2 = pd.pivot_table(df, index='日付', columns='商品グループ', values='個数', margins=True, aggfunc=np.sum)
df2 = df2.fillna(0)
print(df2)
#商品グループ      デザート  ドリンク  バーガー  All
#日付
#2020/07/11   0.0   8.0  22.0   30
#2020/07/12   1.0   7.0  12.0   20
#All          1.0  15.0  34.0   50

Comments

[hermitcrab56]

エッ！どうして縦なの！？
なんとなくだけどFinancialTimes読んでそうだね！
なんとなくだけど。
回答ありがとう！

[8524ba23]

例を追記しました。
横持だったら大変じゃないですか？

Answer 3

CSVファイルを保存する際の一案です。

CSVファイルの保存の際、1行目を必ずヘッダーにしておきます。1カラム目は日付、その後のカラムはN個の品種です。
※見易くするために行末に$を挿入します。これは特に必須ではありませんが、データ内容とプログラムによっては整合性をとる際に有用となることがあります。
（※CSV（カンマ区切り）では不要な配慮だったので取り消します。TSV（タブ区切り）のデータで末尾の方で連続の空文字があったときに不具合が出たときの話でしたので、この点は忘れてください）

ある日のCSVファイル

"日付","バーガーA","バーガーB","ドリンクA"
7月11日,10,12,8

品種名をヘッダー部に保存しておけば、対応するカラム位置がそれと分かります。日ごとに過不足があってもマージするときに判断できるはずです。key=valueの辞書形式としても扱い易いでしょう。

複数日分をマージ後のCSVファイル

"日付","バーガーA","バーガーB","バーガーC","ドリンクA","ドリンクB","デザートA"
7月11日,10,12,0,8,0,0
7月12日,9,0,3,0,7,1

Comments

[hermitcrab56]

入力→ファンクション→出力　とあって、
ご提案いただいた方法は理想的な出力の一つです！
悩んでいるのはバラバラの入力に対するファンクションの部分！
回答ありがとう！

[dodox86]

コメントありがとうございます。ご質問の文中で既にpandas, DictWriterなどの単語が書かれ、機能の実装部分にお悩みということが示唆されていたので、私自身も読みが浅かったようです。他回答者様の内容も含め、私も勉強になりました。

[hermitcrab56]

見ず知らずのド素人の質問に真摯に対応していただいて感謝しています。
またなにかあったら力になって欲しいです！
アイコンの鳥もかわいいね！クエッ！

Answer 4

品種ごとに変数を用意しといて、一日ごとにカウントしていくようなコードを組んでいけばいいです