csvから特定の年月抽出と同時に計算処理を行う

Question

以下のような日付とそれに対応する値が存在するcsvファイルを読み込んだとします。
date　　　　　　A
1998/1/12　　　32
1995/4/20　　　23
2010/12/6　　　64
2017/6/3　　　 5
2014/2/9　　　 11
2018/7/8　　　 29
2005/9/25　　 10
2010/12/30　　 55
: :
: :
: :
そこで例えば、2010/12の年月を抽出後、その抽出された日付の値を全て足し合わせるという単純な計算処理をし、出力したいのですが、それが中々できませんでした。何か方法はありませんでしょうか。
ちなみに以下のようなコードで実行しましたが、上手くできなかったです。

import numpy as np
import pandas as pd
df = pd.read_csv("test.csv")
df_201012 = np.sum((df[df["date"].isin(["1990/12"])].A))

Answer 1

Pythonなど不要。そう、シェル芸ならね！

$ cat test.csv
date,A1
1998/1/12,32
1995/4/20,23
2010/12/6,64
2017/6/3,5
2014/2/9,11
2018/7/8,29
2005/9/25,10
2010/12/30,55

$ cat test.csv|tr '/' ','|awk -F, 'NR>1{a[$1"/"$2]+=$4}END{for(i in a){print i,a[i]}}'
2010/12 119
2018/7 29
1998/1 32
2014/2 11
1995/4 23
2005/9 10
2017/6 5

Comments

[mrk_5200]

ありがとうございます！

Answer 2

まずは基本的に、日時データはDatetime型にて読み込んでください

df = pd.read_csv("test.csv", parse_dates=['date'])

これは下のように書いても良いです

df = pd.read_csv("test.csv")
df['date'] = pd.to_datetime(df['date'])

このように日時データをDatetime型で読み込むことで、
12月の全データを

df.loc[df['date'].dt.month == 12]

のように簡単に指定できるようになります。

あとは2010年12月のデータは

df.loc[(df.date.dt.year == 2010) & (df.date.dt.month == 12)]

で指定できるので A列のデータを取得し、

df.loc[(df.date.dt.year == 2010) & (df.date.dt.month == 12),'A']

合計をとるだけです

df.loc[(df.date.dt.year == 2010) & (df.date.dt.month == 12), 'A'].sum()

Answer 3

numpy, panda を使わずに書いてみました。
test.csv　（TAB 区切り)

date	A
1998/1/12	32
1995/4/20	23
2010/12/6	64
2017/6/3	5
2014/2/9	11
2018/7/8	29
2005/9/25	10
2010/12/30	55
2005/9/25	1000
2005/9/25	2000
2005/9/25	3000

csv_read.py

import csv
from itertools import groupby

csv_file = open("./test.csv")
f = csv.reader(csv_file, delimiter="\t")

header = next(f) # ヘッダ列をスキップする
result = [(k, sum([int(item[1]) for item in g]))
          for (k, g) in groupby(sorted(f), lambda x: x[0])]
print(result)

実行例

全レコードで日付けごとに集計してますが、適宜 ターゲットの日付けだけでフィルタリングすれば良いです。

Comments

[mrk_5200]

ありがとうございます！！

Answer 4

ファイルから読み込む。

date,A
1998/1/12,32
1995/4/20,23    
2010/2/6,64
2010/2/3,5
2010/2/9,11
2018/7/8,29
2005/9/25,10
2010/12/30,55

import pandas as pd
df = pd.read_csv('test.csv')

抽出する。

extract_df = df[df['date'].str.contains("2010/2")]

集計する。

extract_df['A'].sum()  # 80

Comments

[mrk_5200]

ありがとうございます！試してみます！！