python:2つのcsvファイルを比較して数値がどこの階級に分類されるか知りたい

Question

前提

対象のデータを過去のデータと照らし合わせる検証を行っている。
進捗としてそれぞれのデータを整理するコードを完成させることができた。

実現したいこと

①のcsvは月ごとにcountを昇順に並び替えたデータである。
月ごとに３０個のデータがあり、１～１０番目、１１～２０番目、２１～３０番目と階級に分けたい。
②が対象のデータとなっており、月ごとに（１月なら１月の）どこの階級に分類されるか教えてくれるプログラムを書きたい。

①　　　　　　　　　　　　　　　　　　　　　
date 　　　count　　　　
1993-01-31 24.2
1997-01-31 24.3
2003-01-31 24.3
2011-01-31 24.3
1986-01-31 24.7
...　途中省略
1993-12-31 24.4
2000-12-31 24.4
2009-12-31 24.5
2012-12-31 24.6
1997-12-31 24.8

②
date 　　　count
2019-01-31 25.9
2019-02-28 28.7
2019-03-31 30.6
2019-04-30 30.9
2019-05-31 29.9
2019-06-30 28.6
2019-07-31 27.9
2019-08-31 27.3
2019-09-30 26.7
2019-10-31 24.9
2019-11-30 23.7
2019-12-31 23.7
2020-01-31 26.3
2020-02-29 28.9
2020-03-31 30.7
2020-04-30 30.6
2020-05-31 29.8
2020-06-30 28.8
2020-07-31 28.4
2020-08-31 27.4
2020-09-30 26.7
2020-10-31 24.7
2020-11-30 23.6
2020-12-31 23.5
2021-01-31 26.1
2021-02-28 27.8
2021-03-31 29.3
2021-04-30 29.1
2021-05-31 29.1
2021-06-30 28.5
2021-07-31 28.0
2021-08-31 27.5
2021-09-30 26.6
2021-10-31 24.7
2021-11-30 23.4
2021-12-31 23.0

試したこと

色々と調べて見たが全く前に進まなかった。
少しでも助言していただけると幸いです。

補足情報（FW/ツールのバージョンなど）

pythonを使って書いています。

サンプルデータとやりたいこと

Comments

[TakaiY]

質問の意味がよくわかりません。
> 月ごとに３０個のデータ
ではなくて、月ごとのデータが30個=30ヶ月分 あるということでしょうか？
> 階級に分けたい。
分けられないということでしょうか？ 単に10個ずつ階級データを付加すればいいだけでは？
> どこの階級に分類されるか
1のデータの何を見て、2のデータの階級を判断するのですか？

[can110]

同じくやりたいことが具体的に理解できませんでした。
- 数行～十数行の単純なサンプルデータと理想の結果
- そのさいどのような手順を行ったのか
を記載すると回答得られやすくなるかと思います。

[bajirisuku]

> 月ごとに３０個のデータ
ではなくて、月ごとのデータが30個=30ヶ月分 あるということでしょうか？
A.その通りです。１のデータは月ごとの低い順に並び変えられた３０か月分のデータ（１月～１２月）があります。

> 階級に分けたい。
分けられないということでしょうか？ 単に10個ずつ階級データを付加すればいいだけでは？
分けられていないです。
A.数値を指定して階級を分ける方法は分かりますが、１～１０番目、１１～２０番目、２１～３０番目といった範囲を指定しての階級の付与の仕方がわかりません。

> どこの階級に分類されるか
1のデータの何を見て、2のデータの階級を判断するのですか？
A.１の月ごとの３０か月分のデータを低い順に１～１０番目、１１～２０番目、２１～３０番目と３つの階級に分けます。
次に２のデータを１つずつ見て、１のデータのそれぞれの月に沿って（１月なら１月の）どこの階級に分類されるかを知りたいです。
例えば、②の2019-01-31のデータが①の１月の３０個のデータの３つに分けた階級のどこに分類されるかを知りたいということです。

[TakaiY]

解答はここではなく、質問を修正/追記してください。

とはいえ、説明されてもやっぱりやりたいことがよくわかりません。
そもそも、1のデータが質問にすでに10個あるのですから、全部で30個とは思えない。

- 数行～十数行の単純なサンプルデータと理想の結果
- そのさいどのような手順を行ったのか
やはり、これがあるといいですね。

[TakaiY]

確認です。
1のデータは、月のデータがそれぞれ30個(30年分)あり、「月ごと」に昇順に並べかえて、10個ずつの階級に分ける。
2のデータのcountは、該当月の階級にあてはめて求める。
ってことですね。

[bajirisuku]

はい、その通りです。
分かり辛く申し訳ないです。

Answer 1

import pandas as pd
import numpy as np
import io

data1 = '''
date,count
1990-01-31,21
1996-01-31,23
1998-01-31,24
1994-01-31,26
2021-01-31,29
1991-01-31,30
1991-02-28,19
1993-02-28,20
1990-02-28,23
1999-02-28,24
2001-02-28,26
1994-02-28,28
'''
df1 = pd.read_csv(io.StringIO(data1), parse_dates=['date'], infer_datetime_format=True)

data2 = '''
date,count
2019-01-31,24
2019-02-28,21
2020-01-31,22
2020-02-28,25
2021-01-31,28
2021-02-28,30
'''
df2 = pd.read_csv(io.StringIO(data2), parse_dates=['date'], infer_datetime_format=True)

#
region = df1.groupby(df1['date'].dt.month)\
            .apply(lambda x: x.groupby(3*x.index//len(x))\
                              .apply(lambda y: y.iloc[[0,-1]]['count'].values).iloc[1])

df2['class'] = df2.groupby(df2['date'].dt.month, group_keys=False)['count']\
                  .apply(lambda x:
                      pd.Series(data=np.where(x <= region[x.name][0], 1,
                                              np.where(x >= region[x.name][1], 3, 2)),
                                index=x.index))

print(df2)

#         date  count  class
# 0 2019-01-31     24      1
# 1 2019-02-28     21      1
# 2 2020-01-31     22      1
# 3 2020-02-28     25      3
# 4 2021-01-31     28      3
# 5 2021-02-28     30      3

Comments

[bajirisuku]

ありがとうございます。
まだプログラミング始めたてで、コードの説明をもらえると幸いです。

[melian]

region は図の「②の範囲」に相当します(月毎の範囲データ)。そして、df2 を月毎にグループ化して、それぞれのグループでどの範囲にあるのかを調べています。

np.where(x <= region[x.name][0], 1, np.where(x >= region[x.name][1], 3, 2))

ここで、df2 のカウントの値(x)が、

②の範囲以下 => 1
②の範囲以上 => 3
②の範囲内 => 2

としています。

[bajirisuku]

ありがとうございます。
グループの分け方として、月毎の３０個のデータを３等分して１つのグループに１０個ずつのデータが入っているという解釈でよろしいでしょうか。

[melian]

はい、その通りです。

[bajirisuku]

ありがとうございます。

Answer 2

自分ならこうするという構造です。

月ごとの階級2の最初と最後の値を取得します。
まず、最初に作るデータは、リスト1月ごとのcountのリストです。辞書に入れておきます。 dictA = {"01": [1月のcountのリスト], "02":[2月のcountのリスト], ... } という形の辞書

1. ファイル1を開ける。
2. 1行ずつ読んで、dateの月の部分を取り出し、dictAの該当するキーのリストを更新/無ければ作る。

そして、階級2の最初と最後の値持つ辞書 dictB = {"01": {'upper': xx, 'lower': yy}, "02": {'upper': xx, 'lower': yy}, ...} を作る。

1. dictAのそれぞれのキーを取り出し、そのキーのリストをソートする。その11番目と 20番目をとりだして、upperとlowerに設定。

最後に 作った階級2の最初と最後の値持つ辞書 dictBを使ってリスト2の内容をチェックする。

1. ファイル2を開ける。
2. 1行ずつ読み込んで、dateの月の部分を取り出す。
3. 月の部分をキーにして、 dictBから、閾値がわかる。 countと範囲を比べて階級を判定する。

こんな感じですかね。

Comments

[bajirisuku]

ありがとうございます。
何とかうまくできました。