質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.48%
NumPy

NumPyはPythonのプログラミング言語の科学的と数学的なコンピューティングに関する拡張モジュールです。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

pandas

Pandasは、PythonでRにおけるデータフレームに似た型を持たせることができるライブラリです。 行列計算の負担が大幅に軽減されるため、Rで行っていた集計作業をPythonでも比較的簡単に行えます。 データ構造を変更したりデータ分析したりするときにも便利です。

Q&A

解決済

1回答

706閲覧

集計後に一定のサンプル数に満たない条件の列をあらかじめ対象から削除したい

8960

総合スコア108

NumPy

NumPyはPythonのプログラミング言語の科学的と数学的なコンピューティングに関する拡張モジュールです。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

pandas

Pandasは、PythonでRにおけるデータフレームに似た型を持たせることができるライブラリです。 行列計算の負担が大幅に軽減されるため、Rで行っていた集計作業をPythonでも比較的簡単に行えます。 データ構造を変更したりデータ分析したりするときにも便利です。

0グッド

0クリップ

投稿2021/12/16 08:06

編集2021/12/16 09:29

質問内容

以下のようなdfにおいて、集計したときにサンプル数(列数)が40以下になる"Player"(を含む列)に関してはdfから除外するにはどうしたらよいでしょうか?

ご教授の程、よろしくお願い致します。

該当のソースコード

python

1import pandas as pd 2import numpy as np 3pd.options.display.float_format="{:.1f}".format 4#Create a random data frame 5start,end = "2021/4/1","2021/4/30" 6dates = pd.date_range(start=start,end=end,freq="D") 7players = [f"Player{i}"for i in range(1,20)] 8N = 1000 9dates = np.random.choice(dates,size=N) 10dates.sort() 11players=np.random.choice(players,size=N) 12df = pd.DataFrame({ 13 "Date": dates, 14 "Player": players, 15 "Speed": np.random.sample(N) * 100.0, 16 "Angle": np.random.sample(N) * 40.0 - 20.0, 17}) 18#resampling 19dfx = df.groupby("Player").sample(n=40) 20 21#grouping 22dfy = dfx.groupby("Player").agg({ 23 "Player":"count", 24 "Speed":[np.mean], 25 "Angle":[np.mean], 26}) 27print(dfy)

達成したいこと/発生している問題

最終的に、Playerでグルーピングした後に、.agg()にてPlayerごとの各項目の平均値を算出したいと思っています。 サンプル数がPlayerごとに偏りがあるため、算出値の一貫性を担保するためにランダムに40列ずつを抽出したいと考えておりますが、 元からサンプル数が40に満たないPlayerに関しては、 対象から除外したのちにグルーピングしなければと思っております。 #extract random 100 data from each players dfx = df.groupby("Player").sample(n=40) #grouping dfy = dfx.groupby("Player").agg({ "Player":"count", "Speed":[np.mean], "Angle":[np.mean], }) ただし、サンプル数が40に満たないPlayerが存在すると以下のようにエラーが発生します。 あくまで重複は無しで、40に満たないPlayerに関してはあらかじめグルーピングから外す必要があると考えています。 ValueError: Cannot take a larger sample than population when 'replace=False'

補足情報(FW/ツールのバージョンなど)

windows11,python3.9.4,vscode

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

guest

回答1

0

ベストアンサー

filter を使う場合です。

python

1# dfx = df.groupby("Player").sample(n=40) 2dfx = df.groupby("Player").filter(lambda x: x['Player'].count()>=40).sample(n=40)

8960さんのコメント

↑上記は全体でn=40になってしまったので、

dfx = df.groupby("Player").filter(lambda x: x['Player'].count()>=40)
dfy = dfx.groupby("Player").sample(n=40)

> と修正したところできました。

投稿2021/12/16 09:01

編集2021/12/16 09:41
melian

総合スコア19798

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

8960

2021/12/16 09:34

dfx = df.groupby("Player").filter(lambda x: x['Player'].count()>=40).sample(n=40) ↑上記は全体でn=40になってしまったので、 dfx = df.groupby("Player").filter(lambda x: x['Player'].count()>=40) dfy=dfx.groupby("Player").sample(n=40) と修正したところできました。 助かりました。ありがとうございました。
melian

2021/12/16 09:36

あ、ごめんなさい。ご指摘いただき、どうもありがとうございます。
guest

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.48%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問