detaframeから箱ひげ図を作る際のnanの処理方法

Question

質問を拝見いただき、ありがとうございます。
プログラミングの勉強をしている学生です。
今、作成したデータフレームから箱ひげ図を作ろうとしています。
例えば、下記のようなデータフレームdfがあるとします。

A	B	C
1	2	3
5	3	1
…	…	…
9	12	NaN
12	NaN	NaN

このデータフレームを元に、下記のような箱ひげ図を作成しました。

ここで質問があります。
①上のdfではNaNが含まれており、下のプログラムのように箱ひげ図で表した場合、NaNはどのように処理されているのでしょうか。できればNaNは無視してNaN以外の数値でそれぞれの箱ひげ図を作り、一つの表にまとめたいです。
②下記画像は実際の出力結果なのですが、外れ値が多く存在します。これを取り除く方法はあるのでしょうか。

お手数をおかけしますが、回答宜しくお願い致します。

環境
windows10
python3.7

df.plot.box()
plt.show()

Comments

[meg_]

> NaN以外の数値でそれぞれの箱ひげ図を作り、一つの表にまとめたいです。
どういう意味でしょうか？「Nanを削除する」とは別の処理ですか？

> 外れ値が多く存在します。これを取り除く方法はあるのでしょうか。
何をもって「外れ値」としますか？分析手法によってある程度決まることもありますが、分析者が閾値を決める必要があるかと思います。

[zui]

質問ありがとうございます。
＞どういう意味でしょうか？「Nanを削除する」とは別の処理ですか？
私の認識では、NaNの削除は「NaNが存在する行を削除」、もしくは「NaNを別の値に置き換える」です。NaNを別の値に置き換えることは現状考えておらず、行ごとNaNを削除するのも他の列に影響を与えるため、上記のような書き方にしました。

＞何をもって「外れ値」としますか？分析手法によってある程度決まることもありますが、分析者が閾値を決める必要があるかと思います。
このあたりの知識は曖昧なため間違ったことを言っていたらすみません。
外れ値の判定には四分位範囲の考え方を用いようと考えています。
第3四分位数から四分位範囲×1.5倍を足した値以上のデータ、第1四分位数から四分位範囲×1.5倍を引いた値以下のデータを外れ値としたいと考えております。

[meg_]

> 外れ値の判定には四分位範囲の考え方を用いようと考えています。第3四分位数から四分位範囲×1.5倍を足した値以上のデータ、第1四分位数から四分位範囲×1.5倍を引いた値以下のデータを外れ値としたいと考えております。

そこまで決められているのであればそれで実行してみれば良いかと思います。

> 上記のような書き方にしました。
すみませんがその「上記のような書き方」で私には意図(具体的に質問者さんがやりたいこと)が分かりませんでしたので質問しました。他の回答者の方には現状の質問のままでも伝わっているかもしれませんが。

Answer 1

• NaNはどのように処理されているのでしょうか。

それがないものとして処理されます。

例

df = pd.DataFrame({'C':[3,1,9,np.nan]})

fig = plt.figure()
ax1 = fig.add_subplot(1, 2, 1)
ax2 = fig.add_subplot(1, 2, 2)

df.plot.box(ax=ax1)
df.dropna().plot.box(ax=ax2)
plt.show()

結果

• 外れ値が多く存在します。これを取り除く方法はあるのでしょうか。

キーワード引数showfliersをFalseに設定すれば取り除けます。

df = pd.DataFrame({'A':[2,3,4,10]})

fig = plt.figure()
ax1 = fig.add_subplot(1, 2, 1)
ax2 = fig.add_subplot(1, 2, 2)

df.plot.box(ax=ax1)
df.plot.box(ax=ax2, showfliers=False)
plt.show()

結果

Answer 2

①上のdfではNaNが含まれており、下のプログラムのように箱ひげ図で表した場合、NaNはどのように処理されているのでしょうか。できればNaNは無視してNaN以外の数値でそれぞれの箱ひげ図を作り、一つの表にまとめたいです。

適当なデータで確認すればわかると思いますが、NaNは無視されます。

import pandas as pd
import numpy as np

df = pandas.DataFrame(np.random.randn(1000,2), columns=['A', 'B'])
df['A'][500::] = np.NaN

df.describe()

df.boxplot()

df.boxplot(sym="")

②下記画像は実際の出力結果なのですが、外れ値が多く存在します。これを取り除く方法はあるのでしょうか。

外れ値の扱いですが、ドキュメントを確認すればわかると思いますが、質問の回答どおりの仕様です。

By default, they extend no more than 1.5 * IQR (IQR = Q3 - Q1) from the edges of the box, ending at the farthest data point within that interval. Outliers are plotted as separate dots

表示しないようにするには、matplotlibのオプションで、symを指定すればOKです。