[swift]録音データからの時系列での周波数の算出ができない

Question

###前提・実現したいこと
録音したPCMデータから単位時間ごとに周波数算出したいと考えております。

###発生している問題・エラーメッセージ
以下のようになコードを作成しまして1buffer単位の最大周波数を算出したいと考えておりますが
想定しているデータを違う結果が出力されてしまいます。

###該当のソースコード

       //オーディオデータの取得
            let audioFile = try AVAudioFile(forReading: url)
            // オーディオのサンプルレートの取得
            let sampleRate = audioFile.fileFormat.sampleRate
             
            let fft = EZAudioFFTRolling.fftWithWindowSize(fftWindowSize, historyBufferSize: fftWindowSize , sampleRate: Float(sampleRate))
            
            //オーディオファイルから、PCMBufferにオーディオデータを取得して、フーリエ変換した周波数配列を求める
            let perCount: Int = 2
            let totalSampleFrames = Int(audioFile.length)
            // 取得したい周波数の配列
            var frequencies = [Float]()

          
            for _ in 0 ..< totalSampleFrames {

                // バッファーの取得
                let buffer = AVAudioPCMBuffer(PCMFormat: audioFile.processingFormat, frameCapacity: AVAudioFrameCount(totalSampleFrames))
         
         // 一部取得 
                try audioFile.readIntoBuffer(buffer, frameCount: AVAudioFrameCount(perCount))
                let bufferSize = UInt32(buffer.frameLength)
                // FFT
                fft.computeFFTWithBuffer(buffer.floatChannelData[0], withBufferSize: bufferSize)

                frequencies.append(fft.maxFrequency)
            }
            // 結果の出力
            for _ in 0 < frequencies.count {
                print("周波数:\(fft.maxFrequency)")
            }
            ....

上記FFTの結果をグラフ出力
fft.maxFrequency // → 緑のライン
buffer.floatChannelData[0].memory // → 赤いライン

###補足情報(言語/FW/ツール等のバージョンなど)
Swift 2.1
XCode 7
EXAudioを使用しています。

Comments

[issei.]

グラフ出力はどのタイミングでやっていますか？都度出力です？それとも、ファイルに書き出して後で出力していますか？

[makoto-]

issei様
閲覧いただきありがとうございます。
グラフですが実際には動作を確認するためにExcelで結果をcsvにしてそれをグラフにしておりますのでプログラムでは出力しておりません。。
ですのでプログラム上で必要なのはmaxFrequencyの時系列データのみとなります。
※わかりにくかったのでコードを追加させていただきました。

よろしくお願いいたします。

[issei.]

ありがとうございます。それなら、出力の時間スケールがずれていることはなさそうです。むしろ、FFT取っている範囲の幅がバッファーサイズで200前後だから、高周波の範囲の後ろ側200個分は最大値が大きくなるだけでは？

[makoto-]

こちらこそありがとうございます。現状
fft.computeFFTWithBuffer(buffer.floatChannelData[0], withBufferSize: bufferSize)
の関数でまとめて処理をしているのですが後ろ200個分....のくだりがよく理解できておりません。申し訳ございませんがご教授いただけますでしょうか？

[issei.]

buffer.floatChannelData[0]を先頭に、bufferSize個のデータでFFTをやっていると思います。まず、bufferSize個は200個前後なのでは？

[makoto-]

現在のbufferSizeが1が入っておりまして,256に設定させていただき動作確認しました。ですが最大周波数は0で全域で算出されませんでした。

[makoto-]

ちなみにBuffersizeですが1,2,100,200,256,512,1024を入れても同様に周波数が算出されませんでした。

[issei.]

なるほど。すみません誤解しておりました。buffer１つに対して時系列データがあるという認識で正しいでしょうか？

[issei.]

↑これで認識が正しいという仮定のもとで、ドキュメント（ http://cocoadocs.org/docsets/EZAudio/1.1.2/Classes/EZAudioFFT.html#//api/name/maxFrequency ）を見ると、「last FFT calculation」の最大値とあるので、多分画面に出力するタイミングが正しくないのだと思います。

[makoto-]

bufferにデータがある認識です。issei様のご指摘通りですとmaxfrepuencyは使えず、自作で計算しないといけないということでしょうか？

[issei.]

はい。frequenciesの配列から最大値を計算するメソッドないしロジックが必要です。。

Answer 1

現状ですと、fft.maxFrequencyの画面出力値を元に描画されています。
このままですと、totalSampleFramesごとに最新のFFTの最大周波数をひたすら出力してしまいます。
参考： http://cocoadocs.org/docsets/EZAudio/1.1.2/Classes/EZAudioFFT.html#//api/name/maxFrequency

画面出力する箇所を見直してみて下さい。
swiftの書き方を把握できていないので方針しか書けず申し訳ないのですが、こう直せば良いと思います。

            // 結果の出力
            for _ in 0 < frequencies.count {
                print("周波数:\(<frequenciesの値を１つずつ出力する>)")
            }

Comments

[makoto-]

サンプルありがとうございます。
いただきました記載ですと
frequencies.append(fft.maxFrequency)
で登録した内容になってしまいますがよろしかったでしょうか？

推測なのですがbufferには音楽データの配列が入っている気がします。

最終的に処理としましては
1ms →　17Khz
2ms →　19Khz
3ms → 0Khz

というのを想定していたのですが現状は

1ms →　17Khz
2ms →　19Khz
3ms → 19Khz

といった形になっていると思っております。

[issei.]

「frequencies.append(fft.maxFrequency)
で登録した内容」で、認識あっています。値を突っ込み終わった配列から最大値を選ぶだけです。

[makoto-]

返信ありがとうございます。
そうしますと全録音時間の最大周波数になってしまいませんでしょうか？

取得したい内容としましては時間単位での最大周波数の時系列データなので、、、

[issei.]

確かに。言われてみれば単位時間あたりの最大値が既に入っているので、愚直に出力すれば良いだけです

[makoto-]

issei様。ご回答ありがとうございます。すごく勉強になりました。この方式ではわたしのやりたいことが検出出来なさそうなので別の方式を検討させていただきます。
いろいろとご助言ありがとうございました。