【Python3】csvファイル 売上データの集計・書き出しについて

Question

解決したいこと

Python初学者ですが、学習のために既存プログラムの改修を行いたいと考えております。
行いたい内容は、複数のcsvファイルを読み込み、データを整理した後、一つのファイルに書き出しです。
＊ページ下部に現状や問題点など記載しております。

ファイルは下記になります。

商品のマスターデータ
→/input/items.csv
商品の売上データ（日毎に別ファイル）
→/input/sales_raw_20161030.csv
 /input/sales_raw_20161101.csv
 ...
 /input/sales_raw_20161106.csv
書き出し後の売上データ
→/output/sales.csv

商品マスターデータ（items.csv）の中身は下記になります。

商品ID、商品名、商品価格

商品の売上データ（sales_raw_YYYYmmdd.csv）の中身は下記になります。

購入ID、ユーザーID、商品ID、個数、販売日時

書き出し後のデータ（sales.csv）は下記になります。

購入ID、ユーザーID、商品ID、商品名、商品価格、個数、販売日時

＊商品の売上データの商品IDと商品マスターデータの商品IDを紐付け、紐付く商品名と商品価格を出力させます。

既存のプログラム

import os

def main():
    with open('output/sales.csv', mode='w', encoding='utf-8') as sales_f:
        for name in os.listdir('input/'):
            if name.startswith('sales_raw_') and name.endswith('.csv') \
                    and "201611" in name:
                with open(os.path.join('input/', name), encoding='utf-8') as f:
                    for row in f:
                        data = row.rstrip().split(',')

                        with open('input/items.csv', encoding='utf-8') as items_f:
                            for row in items_f:
                                data2 = row.rstrip().split(',')
                                if data2[0] == data[2]:
                                    sales_f.write(
                                        ','.join((
                                            data[0],
                                            data[1],
                                            data[2],
                                            data2[1],
                                            data2[2],
                                            data[3],
                                            data[4],
                                        )) + '\n'
                                    )


if __name__ == "__main__":
    main()

改修途中のプログラム

import os
import re

def main():
    # 商品マスターデータの読み込み処理
    items = {}
    with open('input/items.csv', encoding='utf-8') as f:
        for row in f:
            item_id, name, price = row.rstrip().split(',')
            items[item_id] = {
                'name': name,
                'price': price
            }

    # 売上生データの読み込み処理
    sales = []
    for filename in os.listdir('input/'):
        if filename.startswith('sales_raw_') and filename.endswith('.csv') \
                and "201611" in filename:
            with open(os.path.join('input/', filename), encoding='utf-8') as f:
                for row in f:
                    data = row.rstrip().split(',')
                    item_id = data[2]
                    if item_id in items:
                        sales.append({
                                'purchase_id': data[0],
                                'user_id': data[1],
                                'item_id': data[2],
                                'name': items[item_id]['name'],
                                'price': items[item_id]['price'],
                                'volume': data[3],
                                'sold_at': data[4]
                            })

    # まとめた売上データを書き出し
    columns = ['purchase_id', 'user_id', 'item_id',
                'name', 'price', 'volume', 'sold_at']
    with open('output/sales.csv', mode='w', encoding='utf-8') as f:
        for row in sales:
            row_str = ','.join(str(row[column]) for column in columns)
            f.write(row_str + '\n')

if __name__ == "__main__":
    main()

自分で試したこと

今回行いたい内容としましたは、下記になります。
・複雑な文字列の判定に正規表現を使う
・現状の売上生データを読み込む処理では「売上生データのファイル名はどんな名前か」が分かりにくい。
そこで「売上生データのファイル名」にマッチする正規表現を書くことでプログラムを書いてわかりやすくする

Pythonの正規表現を使用するのが初めてで、正規表現モジュールの使い方など調べてみたのですが、どこのコードで正規表現を使うと良いのかが分からず詰まっている状況になります。

その他に何か必要な情報などありましたら、提示いたします。
長くなってしまい、大変恐縮ではございますが、ご教授頂けますと幸いです。
よろしくお願いいたします。

Comments

[ppaul]

処理自体は、globとpandasを使えば10行ぐらいで書けると思いますが、目的は正規表現の学習なのですね。

[退会済みユーザー]

ppaul様
コメントありがとうございます！
はい、仰る通りです。
正規表現に辿り着く前に、処理の分離や変数名、辞書を使い一目で理解できるコードになるように改修を行いました。
コンパクトでスタイリッシュに仕上げるというよりは、一つ一つのコードを理解して改修したいというのが目的になります。

念のためですが、既存プログラムを記載いたしました。
よろしくお願いいたします！

Answer 1

プログラミングの勉強ということであれば、まず全体構造を見直しましょう。
機能やアルゴリズムを変更するとき構造が悪いとぐちゃぐちゃになります。
多少手を加えたものを参考として載せておきます。勉強になるようにあえて複数のバグを残した状態にしてあります。
変更箇所は、機能の分離、条件等をコードから除外、コメントのdocstring化です。

import os
import re

def master_to_itemdict(master_file):
    '''商品マスターデータの読み込みと辞書変換'''
    items = {}
    with open('input/items.csv', encoding='utf-8') as f:
        for row in f:
            item_id, name, price = row.rstrip().split(',')
            items[item_id] = {
                'name': name,
                'price': price
            }


def read_one_sales_file(sales_file, items):
    '''売上生データ1ファイルの読み込みと辞書変換'''
    sales = []
    with open(sales_file, encoding='utf-8') as f:
        for row in f:
            data = row.rstrip().split(',')
            item_id = data[2]
            if item_id in items:
                sales.append({
                        'purchase_id': data[0],
                        'user_id': data[1],
                        'item_id': data[2],
                        'name': items[item_id]['name'],
                        'price': items[item_id]['price'],
                        'volume': data[3],
                        'sold_at': data[4]
                    })

def read_sales_files(sales_file_list, items):
    '''売上生データ複数ファイルの読み込みと辞書変換'''
    return sum([read_one_sales_file(file, items] for file in sales_file_list], [])


def make_sales_files(dir, pattern_s, pattern_e, pattern_year):
    '''売上生データ複数ファイルのリスト作成'''
    sales_file_list = []
    for filename in os.listdir(dir，pattern_s, pattern_e, pattern_year):
        if filename.startswith(pattern) and filename.endswith(pattern_e) \
                and pattern_year in filename:
    sales_file_list.append(os.path.join(dir, filename)

def write_total_sales(sales, output_file)
    '''まとめた売上データを書き出し'''
    columns = ['purchase_id', 'user_id', 'item_id',
                'name', 'price', 'volume', 'sold_at']
    with open('output/sales.csv', mode='w', encoding='utf-8') as f:
        for row in sales:
            row_str = ','.join(str(row[column]) for column in columns)
            f.write(row_str + '\n')

if __name__ == "__main__":
    data_dir = 'input/'
    master_file = 'input/items.csv'
    pattern_s = 'sales_raw_'
    pattern_e = '.csv'
    pattern_year = "201611"

    items = master_to_itemdict(master_file)
    make_sales_files(data_dir, pattern_s, pattern_e, pattern_year)
    read_sales_files(sales_files, items)
    write_total_sales(total_sales, 'output/sales.csv')

Comments

[退会済みユーザー]

ご回答頂き、ありがとうございます。
また、私のためにプログラムをご準備いただき誠にありがとうございます。。！
> プログラミングの勉強ということであれば、まず全体構造を見直しましょう。
かしこまりました。アドバイスありがとうございます。
この少しの間で、バグを残しつつここまで手を加えることが出来るのですね。。！
頂いたプログラムを解読して、修正してみたいと思います。