Pandasの書き方について、直感的な理解ができない

Question

例えば以下のコードで、

import pandas as pd

dataset = pd.read_csv('train.csv')

datasetが以下のような表になるとします。

この時下記のような変数を定義すると、

survived_class = dataset[dataset['Survived']==1]['Pclass'].value_counts()

survived_classは以下のようになります。

前置きが長くなりましたが、以下質問させていただきたい内容です。
survived_classを定義する時の書き方が直感的に理解できません。

具体的には以下3点です。
・なぜ変数名datasetの後に[]を書いて、[]内の条件で絞り込みができるのか
・変数名datasetの後の[dataset['Survived']==1]について、なぜ[]の中にまた変数名があるのか（例えばdataset[Survived==1]等ならまだ腑に落ちる）
・その後に続く['Pclass']について、[]と[]が連続しているのはなぜか

こういうふうに書く決まりだからというのは分かるのですが、直感的な理解の仕方（直感的な覚え方）を知りたいと思っています。

どなたかアドバイスいただけませんでしょうか。よろしくお願いいたします。

Comments

[kokosei]

みなさん、たくさんのご回答本当にありがとうございます。皆さんからのアドバイスにより、PandasのDataFrameはその構成単位？であるSeriesをベースに考えると分かりやすいということと、Seriesにアクセスするためにはブラケットを用いるということと、戻り値や引数の型を常に意識すること(Pandasに限りませんが)、の三点が直感的な理解の助けになると分かりました。

[kokosei]

皆様全員のコメントを基に上記学ぶことができたのですが、特に疑問をクリアにしてくださったYouheiSakuraiさんをベストアンサーとさせていただきました。皆様本当にありがとうございました。

Answer 1

直感的なコードではない理由のひとつとして少し技巧的だから、という気がします。例示のコードを素直に書くと以下のようになるはずです。

survived_class = dataset[dataset['Survived']==1]
tmp = survived_class['Pclass']
print(tmp.value_counts())

つまり、「所定の条件を満たす行を週出する→value_counts()を行いたい列を取り出す→取り出した列にvalue_countsを行って出力する」というものです。技巧的といったのは、この一連の処理を一行のコードにつなげ過ぎたためのような気がします。

本来であれば、.locというメソッドを使って「ある条件を満たす行のうち、指定した列を取り出す」という処理が書けます。これであれば、.locの機能がわかっていれば直感的のはずです。

survived_class = dataset.loc[dataset['Survived']==1,'Pclass'].value_counts()

加えていうと、Survivedが１の場合のvalue_countsは行っていますが０の場合はどうするのでしょう。今のコードの書き方だと、同じ要領で０のコードを書くことになりそうです。仮にそうするのであれば、、pd.crosstab()を使ったほうがいいでしょう。これであれば、Survivedに指定されているコードを網羅してvalue_countsを行ってくれます。（クロス集計という形式になりますが…）
そのほうが、最終的にはわかりやすいコードになるように思いますので、いろいろと研究してください。

Answer 2

こういうときのキモは、

• 原則内側から評価される
• 原則左側から評価される

の2点です。

dataset[dataset['Survived']==1]['Pclass'].value_counts()

これがどんな順番で評価されるのかというと、
0. dataset['Survived']のオブジェクトができる

1. dataset['Survived']==1が評価されてbooleanのSeriesが返る
2. dataset[booleanのSeries]が評価されてdatasetから一部だけ抽出したものになる
3. datasetから一部だけ抽出したものの'Pclass'コラムを取り出す
4. Seriesとして出てくるのでそのメソッドを呼ぶ

Answer 3

PandasはPythonの文法の上にマジックがたくさん散りばめられているので、わからずともPandasではそう書くもんなんだと納得するのも一考です。（私はそうしてます。）

その前提で真面目に答えられる範囲で答えると、、、

• まず、dataset[Survived==1]は、Survivedが未定義の状態ではPythonの文法的に通りません。
• 次に、dataset["Survived"==1]は、dataset[False]と同義なのでPandas的に使い物になりません。
• よって自然と、「dataset[Pandas的な何か]という書式でデータの絞り込みが行えるようにしよう！」となったんだと思います。
• 最後に、dataset['Survived']==1はTrue/FalseからなるSeriesを返すので、dataset[dataset['Survived']==1]はdataset[True/FalseからなるSeries]と読み替えられて「ビット演算のように動作するんだろうなぁ」と無理やり納得することはできなくもないと思います。

Answer 4

私もPython初心者です。
まず最初に、1段階ずつ順番に見ていくというのはいかがでしょうか。
納得できる部分が少し増えるのではないかと思います。

print("### dataset")
print(dataset)
print("### dataset['Survived']")
print(dataset['Survived'])
print("### dataset['Survived']==1")
print(dataset['Survived']==1)
print("### dataset[dataset['Survived']==1]")
print(dataset[dataset['Survived']==1])
print("### dataset[dataset['Survived']==1]['Pclass']")
print(dataset[dataset['Survived']==1]['Pclass'])