PythonでCSVファイルから読み取ったデータにFFTをかけたい

Question

前提

PythonでCSVファイルから読み取ったデータにFFTをかけたいです。
最終的にはFFTしたデータにある周波数以下を0にしてIFFTするいわゆるノイズ処理のようなことをしようと考えています。
今回ではCSVデータを読み取りいったんそのデータを表示、FFTをかけるところまでは上手くいったと思うのですが以下のようなエラーが発生しました。

実現したいこと

エラーの解決方法のご教授。

発生している問題・エラーメッセージ

---------------------------------------------------------------------------
KeyError                                  Traceback (most recent call last)
Input In [2], in <cell line: 5>()
      3 """df=pd.read_csv('csv in/observationdata.csv',names=['time','voltage'])"""
      4 df=pd.read_csv('csv in/observationdata.csv')
----> 5 df[(df["time"])]
      6 t=df['time']
      7 f=df['voltage']  # 変更部分

File ~/miniforge3/envs/test1/lib/python3.9/site-packages/pandas/core/frame.py:3511, in DataFrame.__getitem__(self, key)
   3509     if is_iterator(key):
   3510         key = list(key)
-> 3511     indexer = self.columns._get_indexer_strict(key, "columns")[1]
   3513 # take() does not accept boolean indexers
   3514 if getattr(indexer, "dtype", None) == bool:

File ~/miniforge3/envs/test1/lib/python3.9/site-packages/pandas/core/indexes/base.py:5782, in Index._get_indexer_strict(self, key, axis_name)
   5779 else:
   5780     keyarr, indexer, new_indexer = self._reindex_non_unique(keyarr)
-> 5782 self._raise_if_missing(keyarr, indexer, axis_name)
   5784 keyarr = self.take(indexer)
   5785 if isinstance(key, Index):
   5786     # GH 42790 - Preserve name from an Index

File ~/miniforge3/envs/test1/lib/python3.9/site-packages/pandas/core/indexes/base.py:5842, in Index._raise_if_missing(self, key, indexer, axis_name)
   5840     if use_interval_msg:
   5841         key = list(key)
-> 5842     raise KeyError(f"None of [{key}] are in the [{axis_name}]")
   5844 not_found = list(ensure_index(key)[missing_mask.nonzero()[0]].unique())
   5845 raise KeyError(f"{not_found} not in index")

KeyError: "None of [Float64Index([     0.0,    5e-06,    1e-05,  1.5e-05,    2e-05,  2.5e-05,\n                 3e-05,  3.5e-05,    4e-05,  4.5e-05,\n              ...\n              5.242825,  5.24283, 5.242835,  5.24284, 5.242845,  5.24285,\n              5.242855,  5.24286, 5.242865,  5.24287],\n             dtype='float64', length=1048575)] are in the [columns]"

該当のソースコード

import matplotlib.pyplot as plt
import csv
import pandas as pd
import numpy as np
from scipy import signal

N = 1048576
dt = 0.000001
"""df=pd.read_csv('csv in/observationdata.csv',names=['time','value'])"""
df=pd.read_csv('csv in/observationdata.csv')
t=df['time']
f=df['voltage']  # 変更部分
F=np.fft.fft(f)
F_abs=np.abs(F)
F_abs_amp = F_abs / N * 2 # 交流成分はデータ数で割って2倍する
F_abs_amp[0] = F_abs_amp[0] / 2 # 直流成分（今回は扱わないけど）は2倍不要

#グラフ表示
plt.xlabel('time(sec)', fontsize=14)
plt.ylabel('voltage', fontsize=14)
plt.plot(t, f)

# 高速フーリエ変換(FFT)
F = np.fft.fft(f)

# FFTの複素数結果を絶対値に変換
F_abs = np.abs(F)
# 振幅をもとの信号に揃える
F_abs_amp = F_abs / N * 2 # 交流成分はデータ数で割って2倍
F_abs_amp[0] = F_abs_amp[0] / 2 # 直流成分（今回は扱わないけど）は2倍不要

# 周波数軸のデータ作成
fq = np.linspace(0, 1.0/dt, N) # 周波数軸　linspace(開始,終了,分割数)


# グラフ表示（FFT解析結果）
plt.xlabel('freqency(Hz)', fontsize=14)
plt.ylabel('amplitude', fontsize=14)
plt.plot(fq, F_abs_amp)

試したこと

ハイパスフィルタをかけてノイズを除去する方法は行いました。しかしFFTかけて特定のノイズを除去するという方法も確立しておきたいです。

補足情報（FW/ツールのバージョンなど）

一つ目のグラフ化したものを載せておきます。

Comments

[jbpb0]

質問に記載のエラーメッセージよりも上に「Traceback」と書かれてたら、そこから下をできるだけ省略せずに質問に記載してください
(ここに書くのではなく、質問を編集して追記する)

ユーザー名等の個人情報は伏せ字でいいですが、それ以外はできるだけそのまま記載してください

[jbpb0]

fq = np.linspace(0, 1.0/dt, N)
↓ 修正
fq = np.linspace(0, 1.0/dt, len(F_abs_amp)+1)[:-1]

で、どうでしょうか？

> x and y must have same first dimension, but have shapes (1048576,) and (1048575,)

は、「F_abs_amp」のサイズが「N」(1048576)と違ってるのだと思います
エラーが出てる行のすぐ上に下記を追加して実行して、結果を確認してみてください

print(len(F_abs_amp))

[jbpb0]

何で、下記を2回実行してるのでしょうか？

> F=np.fft.fft(f)
F_abs=np.abs(F)
F_abs_amp = F_abs / N * 2
F_abs_amp[0] = F_abs_amp[0] / 2

[NMKN]

jbpb0様　2回実行している理由はただの消し忘れのため本コードでは削除しました。また自分の方でも解決できないかとコード修正に取り組んでいたところ新たなエラーが出てしまいました...コード自体を変更はしていないのですが、元データ(ここでは"observationdata")のある値を0にするなどの変更を行ったことが原因かもしれません...(他に修正した心当たりがないため)
またご提示して頂いたコードを試したいのですがFFTに辿り着く前にエラーが出てしまっている状況です。エラー内容については更新させていただきました。

[NMKN]

jbpb0様　上記の問題自己解決しました。jbpb0様のおっしゃる通りサイズが違っていたのだろうと思われます。

Answer 1

質問が修正される前の、もともとの質問内容への回答です

　

x and y must have same first dimension, but have shapes (1048576,) and (1048575,)

が出るのが

plt.plot(fq, F_abs_amp)

ならば、「F_abs_amp」のサイズが「N」(1048576)と違うのだと思います
その行のすぐ上に下記を追加して実行して、結果を確認してみてください

print(len(F_abs_amp))

　
上記の通りなら、下記の変更で直ると思います

fq = np.linspace(0, 1.0/dt, N)

↓ 修正

fq = np.linspace(0, 1.0/dt, len(F_abs_amp)+1)[:-1]

Answer 2

こんにちは、お元気ですか?ここをクリックして、アラドと、身体的および精神的な病気の治療のための薬草、特にグリーンクミンシードの特性について学ぶことで、少し助けてもらえますか?https://aradbranding.com/ar/%d8%a7%d8%b3%d8%b9%d8%a7%d8%b1-%d8%a7%d9%84%d9%83%d9%85%d9%88%d9%86-%d8%a7%d9%84%d8%a3%d8%ae%d8%b6%d8%b1-%d9%88%d9%81%d9%88%d8%a7%d8%a6%d8%af%d9%87/