Python 関数の利用

Question

csvファイルを読み込み、6,7月の売上を表示する事が課題です。
Errorは出ませんが、7月が0円でないのに(870円)、0円と出てしまいます。
試しに、6月の部分を消したところ、正常に作動しましたので関数を呼び出す部分周辺が怪しそうなのですが...。

ちなみに、csvファイルには各行にカンマ（,)区切りで 日付（yyyy-mm-dd hh:mm:ss)、 品目、 売り上げ金額 の順に入力されています。
ex)2014-07-14 13:36:59,オレンジジュース,110

また、プログラミング初心者なので、正誤問わず書き方に指摘や改善点等ございましたら、その点もご教授願います。

"""月ごとの売上金額の集計."""
import csv
from datetime import datetime

ENCODING = 'utf-8'
KEYS_LIST = ['date', 'name', 'price']


def count(dict_list, month):
    """ 指定した month の name, price をカウントしてcount_name, count_priceを返す
    """
    count_name = {}
    count_price = 0
    for a_dict in dict_list:
        date = datetime.strptime(a_dict['date'], '%Y-%m-%d %H:%M:%S')
        if date.month == month:
            name = a_dict['name']
            price = int(a_dict['price'])
            count_price += price
            print(count_price)
            if name in count_name.keys():
                count_name[name] += 1
            else:
                count_name[name] = 1
    return count_name, count_price


def main():
    with open('input/report.csv', encoding=ENCODING) as file:        
        dict_list = csv.DictReader(file, fieldnames=KEYS_LIST)
        count_name_6, count_price_6 = count(dict_list, 6)
        print('6月: {}'.format(count_price_6))
        count_name_7, count_price_7 = count(dict_list, 7)
        print('7月: {}'.format(count_price_7))

if __name__ == '__main__':
    main()

Answer 1

一度読み出すと、中身が空になってしまうdict_listを使っているせいかと思います。
リストに一度収めてから、以下のように変更してみてはいかがでしょう。

    with open('input/report.csv', encoding=ENCODING) as file:        
        dict_list = csv.DictReader(file, fieldnames=KEYS_LIST)
        dict_list = list(dict_list)
    count_name_6, count_price_6 = count(dict_list, 6)
    print('6月: {}'.format(count_price_6))
    count_name_7, count_price_7 = count(dict_list, 7)
    print('7月: {}'.format(count_price_7))

Comments

[north_redwings]

勉強不足で申し訳ないのですが、どうして中身が空になってしまうのでしょうか...
pythonのfor文はシーケンスは破壊(?)されてしまうという事でしょうか?

[mkgrei]

破壊というよりも、読み出しの時にイテレータの類のオブジェクトが返ってきていて、
これは要するに命令されたら次の要素を返すものになっています。
それで、全部の要素を取り出しきってしまうと中身がなくなってしまいます。
それ以降何度次のものを取り出そうとしても空なので何も返ってきません。
もう一度使いたい場合は再度オブジェクトを作る必要があります。

つまり、for文に問題あるのではなく、csv.DictReaderの方にくせがあるのです。

今回の場合、一度メモリ上に読み込んでから、それを使い続ければ良いので、最初にリスト化しています。

リストにすると、for文などに出会うたびにイテレータを新たに生成して要素を逐一取り出しています。

イテレータみたいなものがある利点のひとつとしては、一度にすべてのデータをメモリ上に載せる必要が無いことなどが挙げられます。
例えば、今回のファイルが非常に大きくメモリに乗らない場合、一行ずつ取り出すことでメモリ使用量を抑えることができます。

おそらくこのようにイテレータ等が返り値になったのはPython3.xからで、必要に応じてlist()、dict()などで囲むことによって従来の使用感が得られます。

[mkgrei]

ついでにcsv.DictReaderが元凶ではなく、元をたどると、fileに行き着くのですが、興味があるのであれば、イテレータ・ジェネレータを理解した上で、ソースコードを直接読むとすぐにわかります。

[north_redwings]

なるほど...つまり、csv.dictreaderは厳密にはlistが返って来るわけではないのでlistとして用いたければlist()でキャスティングする必要がある、という解釈で合っていますでしょうか?

[mkgrei]

おっしゃるとおりです。

[north_redwings]

イテレータあたりをもっと勉強する必要がありそうです。
詳しく親切に回答していただき、ありがとうございました。

Answer 2

csvファイルを扱う際にはpandasを使うことをおススメします。
また、dictをカウンターとして使う場合、defaultdictという便利なものがあります。

上記のものを使ったコードを書いてみましたので、興味があればご参考にしてください。

from collections import defaultdict

import pandas as pd

ENCODING = 'utf-8'
KEYS_LIST = ['date', 'name', 'price']

def count(df, month):
    # monthに該当する行を探す
    mask = (df["date"].map(lambda x: x.month) == month)

    count_name = defaultdict(int)
    count_price = 0
    for name, items in df[mask].groupby("name"):
        count_name[name] = items.count()
        count_price += items["price"].sum()

    return count_name, count_price

def main():
    df = pd.read_csv("input/report.csv", names=KEYS_LIST, encoding=ENCODING)
    # 文字列をdatetimeオブジェクトに変換する
    df["date"] = pd.to_datetime(df["date"], format="%Y-%m-%d %H:%M:%S")
    
    count_name_6, count_price_6 = count(df, 6)
    print('6月: {}'.format(count_price_6))
    count_name_7, count_price_7 = count(df, 7)
    print('7月: {}'.format(count_price_7))

if __name__ == '__main__':
    main()

Comments

[north_redwings]

どうもありがとうございます！
pandasはほぼ手をつけられていませんが、後に勉強予定ですので勉強したら参考にさせていただきます。

[R.Shigemori]

細かいことですが、to_datetimeを使うのであれば、そのままindexを置換したほうがresampleが使えて、月別集計が簡単になるように思いました。

[退会済みユーザー]

コメントありがとうございます。お恥ずかしながらresampleを知りませんでしたm(_ _;)m とても使いやすそうなので後で修正してみます。