平日と休日を考慮したpandasの数行まとめてのシャッフル

Question

前提・実現したいこと

以前の質問で各月ごとに同じ日のデータを一つの塊としてシャッフルしたのですが、平日と休日が混ざっているので、今回はこれを平日は平日だけ、休日は休日だけでシャッフルしたいのですが、うまくいきませんでした。

該当のソースコード

平日と休日の区別がないシャッフル

import pandas as pd
import itertools
import numpy as np

csv = pd.read_csv('sample.csv', parse_dates=[0], index_col=0)

df=csv.resample('H').mean()  #元のデータは３０分刻みのデータなのでここで１時間ごとのデータにしています

df = df.reset_index()
df['weekday'] =df['時間'].dt.weekday  #曜日を示す列を作成（０が月曜日、６が日曜日）

df = df.set_index("時間")
#ここから下は全く同じ
def shuffle_days(df_month):
    groups = [df for _, df in df_month.groupby('D')]
    random.shuffle(groups)
    return pd.concat(groups).reset_index(drop=True)

df = df.reset_index()
df['Y'] = df['時間'].dt.year
df['M'] = df['時間'].dt.month
df['D'] = df['時間'].dt.day
df = df.groupby(['Y', 'M']).apply(shuffle_days)
df = df.drop(['Y', 'M', 'D'], axis=1).reset_index(drop=True)

print(df)

試したこと

平日か土日かを判定する関数

DATE = "yyyymmdd" # 日付は８桁文字列の形式

def isBizDay(DATE):
    Date = datetime.date(int(DATE[0:4]), int(DATE[4:6]), int(DATE[6:8]))
    if Date.weekday() >= 5 :
        return 0
    else:
        return 1

この関数のようなものを使って平日と休日を分けようとしたのですが、上手く組み込めませんでした。

補足情報（FW/ツールのバージョンなど）

ここにより詳細な情報を記載してください。

Comments

[meg_]

＞ この関数のようなものを使って平日と休日を分けようとしたのですが、上手く組み込めませんでした。

「平日と休日の区別がないシャッフル」のコードにどのように組み込んでどういう結果になったのでしょうか？
※関数単独では正しく動作しますか？

[simpkins]

関数単独だと例えばisBizDay(str(20150401))と入力すると1(平日)と出力されます。(2015年04月01日は水曜日でweekday列だと2)
df['weekday'] = df['weekday'].apply(isBizDay)のようにしたいのですが、isBizDayの中身を変更する必要があると思うのですが、どうすればいいのかわからない状態です。

[meg_]

> df['weekday'] = df['weekday'].apply(isBizDay)のようにしたいのですが、
試されましたか？エラーが出ましたか？

df['weekday']は日付型（datetime64[ns]？）だと思いますので、isBizDayの引数をその型に合わせて修正すればapplyで使えるのではないでしょうか。

[simpkins]

エラーは Date = datetime.date(int(DATE[0:4]), int(DATE[4:6]), int(DATE[6:8]))の行で、
TypeError: 'int' object is not subscriptable　と出ました。
weekdayの型はint64でした。

[meg_]

df['weekday']ではなくdf['時間']の間違いでした。失礼いたしました。

[simpkins]

引数をint64に変換しようとしたらNameError: name 'int64' is not definedと出ました。
上のプログラムでdf['weekday'] =df['時間'].dt.weekdayで0~6で曜日を示す列を作っていて、これに平日と休日を分ける関数を適用したい場合に下のプログラムの他の部分は変えなくても大丈夫なんでしょうか？

[meg_]

「平日と休日を分ける」とは月～金と土日を分ける、という意味ですか？（休日を祝日の意味かと思っていましたが）

月～金と土日を分けるなら、既にdf['weekday']に曜日を表す数字があるので、それを 元にデータフレームを分けるだけで良いかと思います。
つまり、「平日か土日かを判定する関数」は不要だと思います。

[simpkins]

平日は平日だけ、休日は休日だけでシャッフルするので、グループ化する際に関数を使ってdf['weekday']の値を平日は1、休日は0としたほうがいいと思ったのですが、月～金を一個のグループ、土日を一個のグループにできるのでしょうか？

[meg_]

シャッフルした後のデータをどう使うのかにもよるかとは思いますが、私なら分けますね。
また、月～金を1、土日を0にするにしてもDataframe.locで事足りるかと思います。

[simpkins]

Dataframe.locを使ったところ簡単に平日と休日を分けられました。関数を使う以外の選択肢も考えるべきでした。Dataframe.locで条件を指定して値を代入できることを知らなかったので勉強になりました。
何度も質問に答えていただきありがとうございました。

Answer 1

import pandas as pd
import itertools
import numpy as np


csv = pd.read_csv('sample.csv', parse_dates=[0], index_col=0)

df=csv.resample('H').mean()  #元のデータは３０分刻みのデータなのでここで１時間ごとのデータ
df = df.reset_index()
df['weekday'] =df['時間'].dt.weekday
df = df.set_index("時間")

df.loc[df['weekday'] < 5 , 'weekday'] = 1
df.loc[df['weekday'] >= 5, 'weekday'] = 0

def shuffle_days(df_month):
    groups = [df for _, df in df_month.groupby('D')]
    random.shuffle(groups)
    return pd.concat(groups).reset_index(drop=True)

df = df.reset_index()
df['Y'] = df['時間'].dt.year
df['M'] = df['時間'].dt.month
df['D'] = df['時間'].dt.day
df = df.groupby(['Y', 'M','weekday']).apply(shuffle_days)
df = df.drop(['Y', 'M', 'D','weekday'], axis=1).reset_index(drop=True)

print(df)