Python groupby count 質問です

Question

質問です。

wineのデータ（qualityとその他情報）を、品質ごとにグループ分けしてその数を数える、ということをやろうとしています。コードは以下の通りです。

import pandas as pd

wine=pd.read_csv("winequality-white.csv", sep=";", encoding="utf-8")

count_data=wine.groupby("quality")["quality"].count()
print(count_data)

これでエラー無く実行できました。ですが、一つ疑問があります。
「count_data=wine.groupby("quality")["quality"].count()」ここの部分はどういう構造になっているのですか？？groupby("quality")までは、groupbyの特性としてqualityごとにグループ分けをしていることが理解できるのですが、それ以降の部分が理解できません。

ご回答お願い致します。

Comments

[ppaul]

理解するためにはかなりの基礎知識が必要です。
そこまで勉強する気はありますか？

[lovely]

ppaulさん、ご回答ありがとうございます。ある程度の基礎は勉強してきたつもりですが足りなかったですか。。。もちろん勉強する気あります！ご教授お願い致します！！

Answer 1

• count_data=wine.groupby("quality")["quality"].count() はなにをやっているか。

複雑でわかりにくいものはバラバラにして調べるのが常道です。

• wine.groupby("quality")の調べ方

>>> print(wine.groupby("quality"))
<pandas.core.groupby.generic.DataFrameGroupBy object at 0x0000027613BAE070>
>>> print(type(wine.groupby("quality")))
<class 'pandas.core.groupby.generic.DataFrameGroupBy'>

これが何かを調べるために、以下を実行してみてください。

>>> print(pd.core.groupby.generic.DataFrameGroupBy)
<class 'pandas.core.groupby.generic.DataFrameGroupBy'>
>>> print(pd.core.groupby.generic)
<module 'pandas.core.groupby.generic' from 'C:\Users\myname\anaconda3\lib\site-packages\pandas\core\groupby\generic.py'>

これが意味するのは、以下の二点です。
0. pandas.core.groupby.genericというモジュールは'C:\Users\myname\anaconda3\lib\site-packages\pandas\core\groupby\generic.py'というファイルを読んで作られている。
0. wine.groupby("quality")は、pandas.core.groupby.genericというモジュールの中で定義されているクラスDataFrameGroupByのインスタンスである。

モジュールについては、公式ドキュメント チュートリアル 6. モジュールをお読みください。
クラとインスタンスについては、公式ドキュメント チュートリアル 9. クラスをお読みください。

• groupby("quality")までは、groupbyの特性としてqualityごとにグループ分けをしていることが理解できる

それは誤解です。
groupby("quality")メソッドでDataFrameGroupByのインスタンスを作成しましたが、まだグループ分けはしていません。

>>> for key,value in wine.groupby("quality").__dict__.items():
...     print(key, ':', value)
...
_selection : None
level : None
as_index : True
keys : quality
sort : True
group_keys : True
squeeze : False
observed : False
mutated : False
dropna : True
obj :       fixed acidity  volatile acidity  citric acid  residual sugar  ...    pH  sulphates  alcohol  quality
0               7.0              0.27         0.36            20.7  ...  3.00       0.45      8.8        6
1               6.3              0.30         0.34             1.6  ...  3.30       0.49      9.5        6
2               8.1              0.28         0.40             6.9  ...  3.26       0.44     10.1        6
...             ...               ...          ...             ...  ...   ...        ...      ...      ...
4895            6.5              0.24         0.19             1.2  ...  2.99       0.46      9.4        6
4896            5.5              0.29         0.30             1.1  ...  3.34       0.38     12.8        7
4897            6.0              0.21         0.38             0.8  ...  3.26       0.32     11.8        6
[4898 rows x 12 columns]
axis : 0
grouper : <pandas.core.groupby.ops.BaseGrouper object at 0x0000027613BE6EE0>
exclusions : {'quality'}

をみればわかるように、作られたDataFrameGroupByのインスタンスの属性objにはデータフレームwineがそのまま入っているだけです。まだグループ分けはしていません。

• wine.groupby("quality")["quality"]の調べ方

初心者のうちは、ここが一番わかりにくいでしょう。

[]は特殊メソッド__getitem__を呼び出します。

>>> wine.groupby("quality").__getitem__
<bound method DataFrameGroupBy.__getitem__ of <pandas.core.groupby.generic.DataFrameGroupBy object at 0x0000027613BAE070>>

なぜ__getitem__を呼び出すかは以下読んでください。

公式ドキュメント 言語リファレンス 3.3.7. コンテナをエミュレートする

wine.groupby("quality")["quality"]とwine.groupby("quality").getitem("quality")が同じことをやっているのを確認するには、以下を実行してみてください。

>>> wine.groupby("quality").__getitem__("quality")
<pandas.core.groupby.generic.SeriesGroupBy object at 0x0000027613CCC4F0>
>>> print(wine.groupby("quality")["quality"])
<pandas.core.groupby.generic.SeriesGroupBy object at 0x0000027613CFB670>

アドレスが違うのは二回呼び出しているためで、中身は同じです。
wine.groupby("quality")["quality"]が何であるかを調べるために、以下を実行してみてください。

<class 'pandas.core.groupby.generic.SeriesGroupBy'>

これからわかるように、wine.groupby("quality")は、クラスDataFrameGroupByのインスタンスであったのに対して、wine.groupby("quality")["quality"]はクラスSeriesGroupByのインスタンスです。

どこが違うのかを調べるために以下を実行してみてください。

>>> for key,value in wine.groupby("quality")["quality"].__dict__.items():
...     print(key, ':', value)
...
_selection : quality
level : None
as_index : True
keys : None
sort : True
group_keys : True
squeeze : False
observed : False
mutated : False
dropna : True
obj : 0       6
1       6
2       6
       ..
4895    6
4896    7
4897    6
Name: quality, Length: 4898, dtype: int64
axis : 0
grouper : <pandas.core.groupby.ops.BaseGrouper object at 0x0000027613CBC670>
exclusions : set()

つまり、wine.groupby("quality").__dict__と比べると、wine.groupby("quality")の場合は属性objがDataFrameでしたが、wine.groupby("quality")["quality"]では属性objがSeriesに変わっています。

• countは何をしているか。

この場合、countはpandas.core.groupby.generic.SeriesGroupByというクラスのインスタンスメソッドです。

>>> type(wine.groupby("quality")["quality"]).__dict__['count']
<function SeriesGroupBy.count at 0x000002761396B700>

このメソッドの説明だけでよければ、以下で読むことができます。(英語です)

print(wine.groupby("quality")["quality"].count.__doc__)

このメソッドが何をやっているかを本当に知りたければsite-packages/pandas/core/groupby/generic.pyの804行目あたりにある、「def count(self)」からはじまるメソッド定義を読めば良いのです。

pandasの公式マニュアルは、pandas.DataFrame.groupby
とかpandas.Series.groupby
なのですが、あまり詳しく書いていないので、最後はソースを読むしかありません。

Comments

[lovely]

ppaulさん、とても丁寧なご説明ありがとうございます！！

つまり、全体の流れとしては
１，wine.groupby("quality")でwineのquality,quality以外のデータを読み込む。
２，list的な奴を作りたいけど、膨大な量書くのを避けるため、又quality基準で数えるためににgetitemを呼び出す。そのためにwine.groupby("quality").getitem("quality")と書こうと思ったけど、objが変わってしまうので「wine.groupby("quality")["quality"]」を使う。
のような感じですか？？

でもまだ一つ分からないことがあって、どうしてobjがwine.groupby("quality").getitem("quality")とwine.groupby("quality")["quality"]で変わってしまうのですか？

ご返信お願い致します。

[ppaul]

２，list的な奴を作りたいけど、膨大な量書くのを避けるため、又quality基準で数えるためににgetitemを呼び出す。そのためにwine.groupby("quality").getitem("quality")と書こうと思ったけど、objが変わってしまうので「wine.groupby("quality")["quality"]」を使う。
のような感じですか？？
違います。
それを理解するために、
https://docs.python.org/ja/3/reference/datamodel.html?highlight=__call__#emulating-container-types
を読んでくださいと書いてあります。

どうしてobjがwine.groupby("quality").getitem("quality")とwine.groupby("quality")["quality"]で変わってしまうのですか？
それの説明が「アドレスが違うのは二回呼び出しているためで、中身は同じです。」です。

[lovely]

ご返信ありがとうございます。
英語の文章を読みましたが、count()を使うときはwine.groupby("quality")["quality"]を使うのが推奨されている、ということですか？

[ppaul]

countは数を数えるので[]に入れるのはどの列名でも良いです。この場合だと"quality"があるのは確実なので、そう書けば間違いないということですね。