ValueError: cannot reindex from a duplicate axis

Question

下のようなデータフレームがあり、v_df の b_df でFalseになっている列・行に一致する要素をNaNにしたいです。

print(v_df)
col c1  c2  c1  c3  c2
r1  15  20   3   9  16   
r2   7  13   1   0  22
r3   3   2  10  33   4
r4  28   7  11   5  19

print(b_df)
col   c1     c2    c3
r1   True False  True
r2   True  True  True
r3   True False False
r4  False  True  True

　　　　　↓

col c1  c2  c1  c3  c2
r1  15 NaN   3   9 NaN   
r2   7  13   1   0  22
r3   3 NaN  10 NaN NaN
r4 NaN   7 NaN   5  19

そこで次のようにしたのですが、エラーが出てしまいます。

v_df2 = v_df[b_df]

ValueError: cannot reindex from a duplicate axis

v_dfの列名にダブりがあるから駄目だというのは想像がつくのですが、どうしたら良いか分かりません。
よろしくお願いします。

Comments

[meg_]

v_dfとb_dfの型は何でしょうか？

Answer 1

カラム名が重複している場合は、列方向に繰り返さないと無理でしょう。
以下は、列方向の繰り返しの一例です。

>>> print(v_df)
  col  c1  c2  c1  c3  c2
0  r1  15  20   3   9  16
1  r2   7  13   1   0  22
2  r3   3   2  10  33   4
3  r4  28   7  11   5  19
>>> print(b_df)
  col     c1     c2     c3
0  r1   True  False   True
1  r2   True   True   True
2  r3   True  False  False
3  r4  False   True   True
>>>
>>> result_df = v_df.copy()
>>> for i in range(1, len(result_df.columns)):
...     result_df.iloc[:,i] = result_df.iloc[:,i].where(b_df[result_df.columns[i]])
...
>>> print(result_df)
  col    c1    c2    c1   c3    c2
0  r1  15.0   NaN   3.0  9.0   NaN
1  r2   7.0  13.0   1.0  0.0  22.0
2  r3   3.0   NaN  10.0  NaN   NaN
3  r4   NaN   7.0   NaN  5.0  19.0

Comments

[i113]

どうもありがとうございます。

Answer 2

カラムを揃えてやれば望みのデータが取り出せそうです。

#
v_df2 = v_df[b_df[v_df.columns]]

カラム名が重複していると色々面倒なことがあるので、重複をなくす方法を考える方がいいとは思います。

追記

私の環境では下記コードでちゃんと動作しています。
dtypeとか、index, columnsがあっているか確認してみてください。

import pandas as pd

b_df = pd.DataFrame(
    {'c1': [True, True, True, False],
     'c2': [False, True, False, True],
     'c3': [True, True, False, True]},
    index=['r1', 'r2', 'r3', 'r4'])

v_df = pd.DataFrame(
    [[15,20, 3, 9, 16],
     [7, 13, 1, 0, 22],
     [3, 2, 10, 33, 4],
     [28, 7, 11, 5, 19]],
    index=['r1', 'r2', 'r3', 'r4'],
    columns=['c1', 'c2', 'c1', 'c3', 'c2'])

print(v_df[b_df[v_df.columns]])
#      c1    c2    c1   c3    c2
#r1  15.0   NaN   3.0  9.0   NaN
#r2   7.0  13.0   1.0  0.0  22.0
#r3   3.0   NaN  10.0  NaN   NaN
#r4   NaN   7.0   NaN  5.0  19.0

Comments

[i113]

ご回答、どうもありがとうございます。
残念ながら、すべての値がNaNになってしまいました。

[i113]

上手くいきました。
行名に齟齬がありました。