【Python3】csvファイル 関数について

Question

行いたい内容は、複数のcsvファイルを読み込み、データを整理した後、一つのファイルに書き出しです。

解決したいこと

まずは、下記に記載しているプログラムの「# CSVファイルを読み込んで辞書のリストで返す関数を実装する」という箇所を関数や定数を用いて実装したいと思っております。
csvモジュールなどモジュールの追加は基本的には行わず実装したいと思っております。

ファイルは下記になります。

商品のマスターデータ
→/input/items.csv
商品の売上データ（日毎に別ファイル）
→/input/sales_raw_20161030.csv
 /input/sales_raw_20161101.csv
 ...
 /input/sales_raw_20161106.csv
書き出し後の売上データ
→/output/sales.csv

商品マスターデータ（items.csv）の中身は下記になります。

商品ID、商品名、商品価格

商品の売上データ（sales_raw_YYYYmmdd.csv）の中身は下記になります。

購入ID、ユーザーID、商品ID、個数、販売日時

書き出し後のデータ（sales.csv）は下記になります。

購入ID、ユーザーID、商品ID、商品名、商品価格、個数、販売日時

＊商品の売上データの商品IDと商品マスターデータの商品IDを紐付け、紐付く商品名と商品価格を出力させます。

現状のプログラム

import os
import re

ITEMS_DATA = 'input/items.csv'
ITEMS_COLUMNS = ['item_id', 'item_name', 'item_price']

SALES_RAW_REGEX = re.compile(r'^sales_raw_(\d{4})(\d{2})(\d{2}).csv$')
SALES_COLUMNS = ['purchase_id', 'user_id', 'item_id',
                 'item_name', 'item_price', 'amount', 'sold_at']
SALES_DATA = 'output/sales.csv'

ENCODING = 'utf-8'
CSV_INPUT = input('')

# CSVファイルを読み込んで辞書のリストで返す関数を実装する
def read_csv(f, columns):
    pass

def main():
    # 商品のマスターデータ読み込み
    items = {}
    with open(ITEMS_DATA, encoding=ENCODING) as f:
        for row in read_csv(f, items):
            # CSVファイルを読み込んで辞書のリストで返す関数使う
            item_id, item_name, item_price = row.rstrip().split(',')
            items[item_id] = {
                'item_name': item_name,
                'item_price': item_price
            }

if __name__ == "__main__":
    main()

*コードを抜粋しております。

自分で試したこと

商品マスターデータのwith文をread_csv関数内に記述していたのですが、その場合、関数の使い回しが出来ないので、
「商品マスターデータ読み込み」内に記述したり、read_csvの引数に問題が生じたりしていたので、修正を行ったりしましたが、
結局解決できないまま時間だけが過ぎてしまうので、ご教授頂けますと幸いです。
read_csv関数に関しては、csvモジュールを使用したやり方はたくさんサイトに載っているのですが、今回はcsvモジュールを使わないで実装なので、参考になるサイトも見当たらず、何を記述すると良いのかも分からない状況です。

read_csvで返したい情報としては下記のようなものになります。
[{'item_id': '1', 'name': '掃除機', 'price': '4980'}, {'item_id': '2', 'name': '扇風機', 'price': '2980'}......]

その他に何か必要な情報などありましたら、提示いたします。
大変恐縮ではございますが、ご教授頂けますと幸いです。
よろしくお願いいたします。

Answer 1

自分だったらまずはこうします

• read_csv を read_items_csv として、mainにあるwithの処理をほぼそのまま持ってきて、itemsを返すようにする。

• read_salesraw_csv を作って、同様にファイルを読込み、salesrawを返すようにする。salesrawはdictのリスト

• salesを作る関数を作る。 引数は、salesrawとitems. salesrawにitemsの内容を加えたもののリストsalesを返す。

• write_csvを作る。 salesを受け取って出力する。

• 作った関数をmainで適切に呼び出す。

検討のしどころは、各関数でどこまでパラメータ化するかですかね。

これができて動いたら、read_items_csvとread_salasraw_csvはだいたい同じ処理になりますので、作ってから共通処理部分をくくりだして作り変えるなど改善していく感じでしょう。

Answer 2

おはようございます。

問題文読ませていただきました。

こんな感じでいかがしょうか？

import pandas as pd

# マスターデータを読み込む。
masterData = pd.read_csv('./items.csv')

# 第一引数へcsv開始日付を指定
# 第二引数へcsv終了日付を指定
# 連続した日付の生成参考 : https://analytics-note.xyz/programming/date-ragen-list/
dateIndex = pd.date_range("2016-10-30", end="2016-11-02", freq="D")

# 配列に変換して、必要な日付文字列に加工
# 連続した日付の生成参考 : https://analytics-note.xyz/programming/date-ragen-list/
dateList = dateIndex.to_series().dt.strftime("%Y%m%d")

# 最終出力結果用に空の変数を用意しておく。
outputData = pd.DataFrame(
    columns=['商品ID', '商品名', '商品価格', '購入ID', 'ユーザーID', '個数', '販売日時'])

for csv in dateList.values:
    # ファイルが存在しない場合に備えて、例外処理をする。
    # ファイルが存在しない場合は、continueを行い、次の日付のファイル読み込みを行う。
    # try except参考 : https://note.nkmk.me/python-try-except-else-finally/
    try:
        salesData = pd.read_csv('./sales_raw_' + csv + '.csv')
    except FileNotFoundError:
        continue

    # 商品IDを基準としてmergeする。
    # merge参考 : https://note.nkmk.me/python-pandas-merge-join/
    innerData = pd.merge(masterData, salesData, on='商品ID', how='inner')
    # mergeした新しいデータを追記する。
    # append参考 : https://note.nkmk.me/python-pandas-assign-append/
    outputData = outputData.append(innerData)

# csv書き出しを行う。
# csv参考 : https://note.nkmk.me/python-pandas-to-csv/
# reset_index参考 : https://note.nkmk.me/python-pandas-reset-index/
outputData.reset_index(drop=True).to_csv('./sales.csv')

ご確認のほど、よろしくお願いいたします。????‍♂️

Comments

[退会済みユーザー]

おはようございます。
また、ご回答頂きありがとうございます。
当方pandas as pdというモジュールを使用したことが無いため、頂いた内容での実装が難しく思います。。
ただ、参考サイトの記載やコードに関してもご説明を記載して頂いたりとご親切にありがとうございます！
頂いた知識は今後に必ず活かせる内容だと思いますので、しっかりと拝見させて頂きたいと思います！

[退会済みユーザー]

いえいえ、動作確認もきちんとしていますので、是非ご活用ください〜
また、わからないこととかありましたら、気軽にご相談ください〜！！

Enjoy!!!

Answer 3

読み込みなら第２引数いらないと思いますけど

Comments

[退会済みユーザー]

ご確認いただきありがとうございます。
すみません、抜粋したせいで記載が漏れているのですが、仰る通り読み込み処理のみであれば、必要は無いのですが、書き込み処理にも再利用するために第二引数も必要になります。

[karintly]

何故read_csv関数で書き込み処理までやろうとしてるんでしょうか。
読み込みはread_csv関数で引数は1つ(ファイルオブジェクトかファイル名)、書き込みはwrite_csv関数で引数は書き込みデータを加えた2つ。このように分けるべきです。