[python]範囲を指定して，その範囲内の点(データ)を抽出し削除したい

Question

1.実現したいこと
連続するデータのある点をとり，その周りの点を，範囲(今回は値が±0.5)を指定して抽出，削除をしたいです。

今回のコードではyの値を降順に並び替え，一番上にきたものを基準にして
そのxの値の±0.5の範囲のデータを抽出しようとしています。
pandasのqueryなどを使用してみましたが，うまくコードをかけず
苦戦しております。

拙い説明ですが，どなたかお願いいたします。

2.コード

for file in glob.glob('T.csv'): #file内のcsvファイルを検索し全て読み混む
  
    basename = os.path.basename(file)

    name = os.path.splitext(basename)[0]

    data = pd.read_csv(file,
                       names=["x", "y"],
                       encoding="SHIFT_JIS")
    measure = data.sort_values(by="y", ascending=False).head(100)#降順の上から100個のみを取り出す
    
    top1 = measure.iloc[0,0]
    top1_m = top1 - 0.5
    top1_n = top1 + 0.5
    f = measure.query()
    print(f)

3.試したこと
queryにて数値の検索

4.使っているツール
python 3.7 , spyder

Comments

[meg_]

タグの｢文字コード｣は本質問に関係ありますか？

[recrystal]

関係ありませんでした，編集いたしました

Answer 1

pandasにおける行の抽出はqueryメソッドまたはbool Seriesを用いる方法によって実現できます。
どちらにおいても抽出する行の条件を指定する必要があります。

今回の場合は指定する値（valとする）の±0.5の範囲にあることですから(val - 0.5)以上かつ(val + 0.5)以下です。

つまり

(data >= (val - 0.5)) & (data <= (val + 0.5))

ですから

data[(data >= (val - 0.5)) & (data <= (val + 0.5))]

により抽出できるのではないでしょうか。

dataの部分を適宜必要な列等でおき変えてください。

以下のリンク等を参考してください。
https://note.nkmk.me/python-pandas-query/

Comments

[recrystal]

f = data[(data > (top1 - 0.5)) & (data < (top1 + 0.5))]
print(f)
とコードを書いたところ，抽出した範囲以外のものがNaNで残るのですが，範囲のデータのみを取りだし削除することはできますか？