pythonで異なる行サイズのDataFrameの要素を全て足し合わせたい

Question

前提

pythonでバスケットボールのシュート確率の分析を行うプログラムを作りたいと思っています。

APIを利用して、ある選手の・あるシーズンにおけるシュートの様子を以下のような形のDataFrame形式で複数（50個ほど）取得することができました。以下、DataFrameの特徴を記します。

• 一つのDataFrameは1試合あたりのシュートに関する情報で、N本目のシュートが決まった(MADE_FRAG=1)か外れたか(MADE_FRAG=0)を示している
• 一つのDataFrameの行数は、1試合ごとのシュート本数であり、試合ごとに本数は異なるため行数も異なる→DataFrameのサイズが異なる
• SHOT_ATTEMPTED_FLAGは常に1。

	SHOT_MADE_FLAG	SHOT_ATTEMPTED_FLAG
0	0	1
1	1	1
2	0	1
3	1	1

	SHOT_MADE_FLAG	SHOT_ATTEMPTED_FLAG
0	1	1
1	1	1
2	0	1
3	1	1
4	1	1
5	0	1

実現したいこと

• シーズンを通して、N本目のシュート確率がどうだったかを知りたい
• そのために、50個ほどあるDataFrame内の値を全て足し合わせたい→足し合わせた結果SHOT_ATTEMPTED_FLAGの値=DataFrameの個数=試合数となれば良い
• 例えば、50試合のデータがあったとすると、「1本目のシュートは確率○%、2本目のシュートは確率○%で入り」

発生している問題・エラーメッセージ

• DataFrameのサイズが揃っていないためか、計算が上手くいきません
• 正しいかは分からないですが、十分な行数のあるDataFrame(値は全て0)を用意して、for文で上記のDataFrameを.addで足し合わせています。
• その結果、以下のように、全てが0のDataFrameが返されます。

    SHOT_MADE_FLAG  SHOT_ATTEMPTED_FLAG
0                0                    0
1                0                    0
2                0                    0
3                0                    0
4                0                    0
5                0                    0
6                0                    0
7                0                    0
8                0                    0
9                0                    0
10               0                    0
11               0                    0
12               0                    0
13               0                    0
14               0                    0
15               0                    0
16               0                    0
17               0                    0
18               0                    0
19               0                    0
20               0                    0
21               0                    0

該当のソースコード

import matplotlib.pyplot as plt
import matplotlib.patches as patches
import pandas as pd
import json
from nba_api.stats.endpoints import playergamelogs,shotchartdetail
import numpy as np
from IPython.display import display
import seaborn as sns

#値が全て0で十分な行数のあるDataFrameを作成
shooting = []
for k in range(50):
    shooting.append(k)
feature = ['SHOT_MADE_FLAG', 'SHOT_ATTEMPTED_FLAG']
primary_data = pd.DataFrame(index=shooting, columns=feature)
primary_data.fillna(0, inplace=True)

def get_game_id(player_id="",Season=""):#playerAのplayer_idと情報を取得したいシーズンを入力
    #playerAが当該シーズンに出場した試合idを取得する
    player_game_id = playergamelogs.PlayerGameLogs(player_id_nullable=player_id,season_nullable=Season)
    player_game_id = json.loads(player_game_id.get_json())
    rowdata = player_game_id["resultSets"][0]["rowSet"]
    headers = player_game_id["resultSets"][0]["headers"]
    game_df = pd.DataFrame(rowdata, columns=headers)
    game_id_list = game_df.GAME_ID
    #取得した試合idをリストにする
    game_id_list = game_id_list.values.tolist()
    for i in game_id_list:#試合idリストの番号とplayerAのplayer_idを元に、試合iにおけるAのシュート結果を取得
        player_shots = shotchartdetail.ShotChartDetail(player_id=player_id,season_nullable=Season,game_id_nullable=i,context_measure_simple="FGA", team_id=1610612757)
        player_shots = json.loads(player_shots.get_json())
        shots = player_shots["resultSets"][0]["rowSet"]
        headers = player_shots["resultSets"][0]["headers"]
        shot_df = pd.DataFrame(shots, columns=headers)
        #取得したシュート結果から必要部分を抜き出してDataFrame化（ここまではできていることを確認済み）
        shot_df = shot_df.loc[:,['SHOT_MADE_FLAG','SHOT_ATTEMPTED_FLAG']]
        #関数外に作っておいた「値が全て0で十分な行数のあるDataFrame」に抜き出したDataFrameの値を足す
        primary_data.add(shot_df)
    print(primary_data)

get_game_id(player_id=203081, Season="2020-21")

Answer 1

primary_data.add(shot_df) は primary_data に shot_df を足した結果の新しいDataFrameを返すだけで、primary_data は変更されません。
そのため、ループ後も初期の 0 のままになっています。
結果をもう一度 primary_data に代入してやる必要があります。

また、add()のデフォルトでは不足している部分は NaN が足されてしまうので、fill_value=0 で、0 を足すようにする必要があります。

primary_data = primary_data.add(shot_df, fill_value=0)

個人的には、primary_data から loc で shot_df と同じ長さの部分だけを取り出して、直接加算していくほうが好きです。

primary_data.loc[shot_df.index] += shot_df

Comments

[gp13_trece]

ありがとうございます！初歩的なミスでしたが解決できました。「primary_data から loc で shot_df と同じ長さの部分だけを取り出して」の部分について確かに仰るとおりですね。ありがとうございます。

Answer 2

import pandas as pd
import json
from nba_api.stats.endpoints import playergamelogs, shotchartdetail

feature = ['SHOT_MADE_FLAG', 'SHOT_ATTEMPTED_FLAG']

def get_game_id(player_id="",Season=""):#playerAのplayer_idと情報を取得したいシーズンを入力
    #playerAが当該シーズンに出場した試合idを取得する
    player_game_id = playergamelogs.PlayerGameLogs(player_id_nullable=player_id,season_nullable=Season)
    game_df = player_game_id.get_data_frames()[0]
    df = pd.DataFrame(columns=feature)
    for gid in game_df['GAME_ID']:
        player_shots = shotchartdetail.ShotChartDetail(player_id=player_id, season_nullable=Season, game_id_nullable=gid, context_measure_simple="FGA", team_id=1610612757)
        df = df.add(player_shots.get_data_frames()[0][feature], fill_value=0)

    df = df.astype(int)

    return df

if __name__ == '__main__':
    result = get_game_id(player_id=203081, Season="2020-21")
    print(result)

#
    SHOT_MADE_FLAG  SHOT_ATTEMPTED_FLAG
0               29                   67
1               30                   67
2               29                   67
3               35                   67
4               24                   67
5               35                   67
6               31                   67
7               40                   67
8               24                   67
9               29                   67
10              27                   66
11              31                   66
12              30                   65
13              24                   63
14              25                   60
15              29                   58
16              26                   52
17              19                   45
18              13                   43
19              15                   37
20              19                   32
21              14                   24
22               9                   19
23               4                   10
24               4                    8
25               3                    7
26               1                    4
27               3                    3
28               0                    1
29               0                    1

Comments

[gp13_trece]

ありがとうございます！無事欲しかったデータが得られました。