データフレームから条件に合うデータを抽出する

Question

前提・実現したいこと

データフレームの各列毎に、四分位範囲の観点からデータ抽出の下限値および上限値を算出し、その範囲を満たすデータを抽出したい。

例えば下記のirisのデータを用いて、

from sklearn.datasets import load_iris
import pandas as pd

iris = load_iris()

df = pd.DataFrame(iris.data, columns=iris.feature_names)
df.describe().round(1)

# データの抽出条件を求める（describe()で得られる25%タイル値と75%タイル値を利用する）
# 抽出条件は、下限値=第1四分位値 - 1.5 x 四分位範囲、上限値=第3四分位値 + 1.5 x 四分位範囲
cols = df.columns
iris_25 = []
iris_75 = []
for col in cols:
    iris_25.append(df[col].describe()[4]) # 第1四分位値
    iris_75.append(df[col].describe()[6]) # 第3四分位値

# 四分位範囲を求め、リストに格納
iris_IQR_list =  []
for i in range(4):
    iris_IQR_list.append(iris_75[i] - iris_25[i])

# 下限値、上限値の算出
iris_lower_Q = []
iris_higher_Q = []
for i in range(4):
    iris_lower_Q.append(iris_25[i] - 1.5*iris_IQR_list[i])
    iris_higher_Q.append(iris_75[i] + 1.5*iris_IQR_list[i])

# 上記で算出した下限値、上限値の間に入る値を元のデータフレームから抽出する
for i, col in zip(range(4), cols):
    (iris_lower_Q[i] < df[col]) & (df[col] < iris_higher_Q[i])

最終行のコードから、条件を満たすbool型が得られたのですが、これをどうやって元のデータフレームに適用すればいいのか（どうやったら抽出できるのか）分かりません。
どうぞよろしくお願いいたします。

Answer 1

以下のようにすれば、列ごとに計算しなくても[Q1 - 1.5 * IQR, Q3 + 1.5 * IQR] の範囲の値をまとめて抽出できます。
範囲外の値は NaN になります。

from sklearn.datasets import load_iris
import pandas as pd

iris = load_iris()
df = pd.DataFrame(iris.data, columns=iris.feature_names)

q1 = df.quantile(q=0.25)
q3 = df.quantile(q=0.75)
iqr = q3 - q1

# 抽出する
df2 = df[(q1 - 1.5 * iqr <= df) & (df <= q3 + 1.5 * iqr)]

サンプル

df = pd.DataFrame({"A": [1, 2, 3, 4], "B": [2, 3, 4, 5]})
lower = pd.Series({"A": 2, "B": 3})
upper = pd.Series({"A": 3, "B": 4})

# 抽出する
df2 = df[(lower <= df) & (df <= upper)]
print(df2)
#      A    B
# 0  NaN  NaN
# 1  2.0  3.0
# 2  3.0  4.0
# 3  NaN  NaN

Comments

[yakinikuteishok]

早速のレスポンスありがとうございます。
そして、こんなにも簡単にできてしまうとは、、、
非常に勉強になりましたし、助かりました。
どうもありがとうございました！