Pythonのpd.corrwithの使い方について（Series型とDataFrame型の違い）

Question

いつもお世話になっております。
標記について教えていただきたいことがあります。

下記のようなDataFrameがあるとします。

df

	col1	col2	col3
idx0	0.470484	0.529014	0.200872
idx1	0.036357	0.999937	0.949096
idx2	0.097277	0.152169	0.568015

これを、

df2

	col1
idx0	0.470484
idx1	0.036357
idx2	0.097277

を抽出します。
このとき、df2はSeries型の場合と、DataFrame型の場合があるとします。
型を変えてpd.corrwithを行うと、結果が変わってきます。

＜dfとdf2（DataFrame）の場合＞
col1:XX（何かしらの値）
col2:NaN
col3:NaN

という結果になります。
同じカラム同士の相関しか計算していないのだと思います。

＜dfとdf2（Series）の場合＞
col1:XX（何かしらの値）
col2:XX（何かしらの値）
col3:XX（何かしらの値）

となります。
これは、型によって計算結果が変わるのでしょうか？

ご存じの方がいましたら、教えていただければと思います。
どうぞよろしくお願い致します。

Answer 1

Documentに記述が見つかりませんでしたが、
動作をみるかぎり、引数が DataFrame の場合は対応する列（Column名が同じ列）同士で比較が行われ、引数が Seriesの場合は、Series名に関わらず全ての列との間で比較が行われているようです。

import pandas as pd
df = pd.DataFrame({'col1':[0.470484, 0.036357, 0.097277],
                   'col2':[0.529014, 0.999937, 0.152169],
                   'col3':[0.200872, 0.949096, 0.568015]},
                  index=['idx1','idx2','idx3'])

df2 = pd.DataFrame({'col1':[0.470484, 0.036357, 0.097277]},
                  index=['idx1','idx2','idx3'])

# 引数が'col1'列のみのDataFrameの場合
print(df.corrwith(df2, drop=True))
#col1    1.0
#dtype: float64

# 引数が'col2'列のみのDataFrameの場合（列名を'col2'に変更）
print(df.corrwith(df2.rename(columns={'col1':'col2'}), drop=True))
#col2   -0.192729
#dtype: float64

# 引数が'col3'列のみのDataFrameの場合（列名を'col3'に変更）
print(df.corrwith(df2.rename(columns={'col1':'col3'}), drop=True))
#col3   -0.919342
#dtype: float64

# 引数がSeriesの場合
print(df.corrwith(df2['col1'], drop=True))
#col1    1.000000
#col2   -0.192729
#col3   -0.919342
#dtype: float64

# 引数がSeriesの場合は名前(列名?）は関係ないらしい
print(df.corrwith(df2['col1'].rename('DUMMY'), drop=True))
#col1    1.000000
#col2   -0.192729
#col3   -0.919342
#dtype: float64

Comments

[essa]

毎回ご回答いただき、ありがとうございます。

やはりそうなのですね。確認していただき、ありがとうございました。

Answer 2

https://github.com/pandas-dev/pandas/blob/v0.25.1/pandas/core/frame.py#L7646-L7731

ソースをご覧になればわかりやすいかと。

        if isinstance(other, Series):
            return this.apply(lambda x: other.corr(x, method=method), axis=axis)

Comments

[essa]

t_obara様
回答ありがとうございました。
ソースを確認するのは考えたことがありませんでした。
ありがとうございました。