質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

ただいまの
回答率

87.90%

csvから特定の年月抽出と同時に計算処理を行う

解決済

回答 4

投稿

  • 評価
  • クリップ 2
  • VIEW 2,925

score 17

以下のような日付とそれに対応する値が存在するcsvファイルを読み込んだとします。
date      A
1998/1/12   32
1995/4/20   23    
2010/12/6   64
2017/6/3    5
2014/2/9    11
2018/7/8    29
2005/9/25    10
2010/12/30   55
:          :
:          :
:          :
そこで例えば、2010/12の年月を抽出後、その抽出された日付の値を全て足し合わせるという単純な計算処理をし、出力したいのですが、それが中々できませんでした。何か方法はありませんでしょうか。
ちなみに以下のようなコードで実行しましたが、上手くできなかったです。

import numpy as np
import pandas as pd
df = pd.read_csv("test.csv")
df_201012 = np.sum((df[df["date"].isin(["1990/12"])].A))
  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 過去に投稿した質問と同じ内容の質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

回答 4

+2

Pythonなど不要。そう、シェル芸ならね!

$ cat test.csv
date,A1
1998/1/12,32
1995/4/20,23
2010/12/6,64
2017/6/3,5
2014/2/9,11
2018/7/8,29
2005/9/25,10
2010/12/30,55

$ cat test.csv|tr '/' ','|awk -F, 'NR>1{a[$1"/"$2]+=$4}END{for(i in a){print i,a[i]}}'
2010/12 119
2018/7 29
1998/1 32
2014/2 11
1995/4 23
2005/9 10
2017/6 5

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2018/10/16 13:50

    ありがとうございます!

    キャンセル

checkベストアンサー

+1

まずは基本的に、日時データはDatetime型にて読み込んでください

df = pd.read_csv("test.csv", parse_dates=['date'])

これは下のように書いても良いです

df = pd.read_csv("test.csv")
df['date'] = pd.to_datetime(df['date'])

このように日時データをDatetime型で読み込むことで、
12月の全データを

df.loc[df['date'].dt.month == 12]


のように簡単に指定できるようになります。

あとは2010年12月のデータは

df.loc[(df.date.dt.year == 2010) & (df.date.dt.month == 12)]


で指定できるので A列のデータを取得し、

df.loc[(df.date.dt.year == 2010) & (df.date.dt.month == 12),'A']


合計をとるだけです

df.loc[(df.date.dt.year == 2010) & (df.date.dt.month == 12), 'A'].sum()

投稿

編集

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

+1

 ファイルから読み込む。

date,A
1998/1/12,32
1995/4/20,23    
2010/2/6,64
2010/2/3,5
2010/2/9,11
2018/7/8,29
2005/9/25,10
2010/12/30,55
import pandas as pd
df = pd.read_csv('test.csv')

 抽出する。

extract_df = df[df['date'].str.contains("2010/2")]

 集計する。

extract_df['A'].sum()  # 80

投稿

編集

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2018/10/16 13:49

    ありがとうございます!試してみます!!

    キャンセル

+1

numpy, panda を使わずに書いてみました。
test.csv (TAB 区切り)

date    A
1998/1/12    32
1995/4/20    23
2010/12/6    64
2017/6/3    5
2014/2/9    11
2018/7/8    29
2005/9/25    10
2010/12/30    55
2005/9/25    1000
2005/9/25    2000
2005/9/25    3000


csv_read.py

import csv
from itertools import groupby

csv_file = open("./test.csv")
f = csv.reader(csv_file, delimiter="\t")

header = next(f) # ヘッダ列をスキップする
result = [(k, sum([int(item[1]) for item in g]))
          for (k, g) in groupby(sorted(f), lambda x: x[0])]
print(result)

実行例
イメージ説明

全レコードで日付けごとに集計してますが、適宜 ターゲットの日付けだけでフィルタリングすれば良いです。

投稿

編集

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2018/10/16 13:49

    ありがとうございます!!

    キャンセル

15分調べてもわからないことは、teratailで質問しよう!

  • ただいまの回答率 87.90%
  • 質問をまとめることで、思考を整理して素早く解決
  • テンプレート機能で、簡単に質問をまとめられる

関連した質問

同じタグがついた質問を見る