PythonのOverlapLengtなどでの要素数の揃え方

Question

前提・実現したいこと

Pythonのプログラミングでの質問です
スぺクトログラムの表示などをするプログラムです
下にあるプログラムなのですがどうも配列の数が合わずどうすればいいかご教授願いたいです。
質問するのは初めてなためお手柔らかにお願いします---

発生している問題・エラーメッセージ

ValueError: operands could not be broadcast together with shapes (27200,) (27264,)

修正後のソースコード

# モジュールのインポート
import numpy as np
import matplotlib.pyplot as plt
import soundfile as sf
import scipy
from scipy import signal as sg

# 音声の読み込み
x, fs = sf.read('speech1.wav')

window_num = 256 # 窓幅のデータ数
stride_num = 128 # ストライド幅のデータ数

# スペクトログラムの計算
f, t, X1 = sg.stft(x, fs=fs, nperseg=window_num, noverlap=(window_num-stride_num))

# 逆STFTによる復号
_, y = sg.istft(X1, fs=fs, nperseg=window_num, noverlap=(window_num-stride_num))

# 出力音声の保存
sf.write('outout.wav', y, fs)

# グラフに表示
# - 波形
plt.figure('Original waveform')
plt.plot(x)

# - 復号した波形
plt.figure('Decryption waveform')
plt.plot(y)

# - 信号差の波形(ここが分からない。入力信号xと出力信号yの差信号x−yが求めたい)
plt.figure('Signal difference waveform')
plt.plot(x-y)

試したこと

質問への回答を受け下記サイトからnperseg、noverlapを用いて要素数をそろえられないかと試した。 https://docs.scipy.org/doc/scipy/reference/generated/scipy.signal.istft.html

Comments

[toast-uz]

scipyのドキュメントを見てもそのような構文は見当たらないです。
https://docs.scipy.org/doc/scipy/reference/generated/scipy.signal.stft.html
何を参照していますでしょうか？

[NEK0o0]

stft,istftに所で揃えられないかと思い
https://jp.mathworks.com/help/signal/ref/stft.html
ここを参照しました

[toast-uz]

それは有償パッケージなのでscipyとは似て非なるものですね。ググると紛らわしいです。そのことについて回答します。

Answer 1

質問のエラーについて

stftしてistftすると、元の配列から長さが変わるようです。そのため、長さを揃えて計算しないと、plt.plot(x-y)のところで、ValueError: operands could not be broadcast together with shapes (27200,) (27264,)といったエラーが出ます。これが質問者様の報告されたエラーです。

stftのドキュメントには、Notesに、In order to enable inversion of an STFT via the inverse STFT in istft, the signal windowing must obey the constraint of “Nonzero OverLap Add” (NOLA), and the input signal must have complete windowing coverage (i.e. (x.shape[axis] - nperseg) % (nperseg-noverlap) == 0).と記載されています。ちゃんとistftしたいのであれば、入力シグナルがぴったりとウインドウに切り分けられるように(x.shape[axis] - nperseg) % (nperseg-noverlap) == 0 であること、という意味です。すなわち、入力シグナルがウインドウで切り分けた余りがあることが、エラーの原因でした。実際には、paddedのデフォルトオプションによって、余りが自動補完されて1つ余計にウインドウが計算され、変換結果の方が膨らんでしまっていました。

よって、ウインドウがぴったりと切り分けられるように入力配列の後ろを少し削る修正をしました。これでエラーが解消されました。

質問に無いエラーについて

ところが、上記に至るまでに別のエラーで悩まされました。f, t, X1 = sg.stft(x, fs=fs, nperseg=window_num, noverlap=window_num-stride_num)のところで、別のエラーValueError: noverlap must be less than nperseg.が発生するのです。

結論としては、soundfileでの音声ファイルは、モノラルでは1次元、ステレオでは2次元の配列になっていること、および2次元の時の次元の意味がstftの期待とズレていることが原因でした。

実際に、モノラルとステレオ両方のサンプルを提供しているサイトにてwavファイルを取得して、soundfileの取り込み形式を比較して確認しました。shapeを見ると、モノラルだと(8250520,)、ステレオだと(8250624, 2)といった形をしています。時間方向は最初の次元であることに注意してください。

一方、stftのドキュメントには、Axis along which the STFT is computed; the default is over the last axis (i.e. axis=-1).と書かれており、時間方向が最後(-1)の次元がデフォルトです。よってこのギャップが原因で、モノラルだと通るけど、ステレオだとエラーが出る、ということになっていました。デフォルト設定でステレオ音声を入力すると、時間方向の配列の長さが2しか無いことになり、最初かつ唯一のウインドウサイズ（=nperseg）が小さすぎて、設定されたnoverlapと比較して変だよ、というエラーになっていたものと思います。原因がわかるとエラーの意味もわかります。

対策としてaxisオプションでこの動作を変えることも可能ですが、istftも同様の思想なので、**「soundで取り込んだファイルをscipy.signalで分析する場合は、次元を入れ替えてしまったほうが早い」**と思います。よって、scipy.signal処理の時に音声配列を転置（.T）してしまうのが解決策です。これにより、このエラーを解消することができました。なお、質問者様の音声ファイルはモノラルなのでエラーが発生していなかったと思われます。

以上2点の修正を加えたソースです。

# モジュールのインポート
import numpy as np
import matplotlib.pyplot as plt
import soundfile as sf
import scipy
from scipy import signal as sg

# 音声の読み込み
x, fs = sf.read('speech1.wav')

window_num = 256 # 窓幅のデータ数
stride_num = 128 # ストライド幅のデータ数

# ★修正 ウインドウがぴったりと切り分けられるように入力配列の後ろを少し削る
x = x[:-((len(x) - window_num) % stride_num)]

# ★修正 sg計算の前後で転置する。
# スペクトログラムの計算
f, t, X1 = sg.stft(x.T, fs=fs, nperseg=window_num, noverlap=(window_num-stride_num))

# 逆STFTによる復号
_, y = sg.istft(X1, fs=fs, nperseg=window_num, noverlap=(window_num-stride_num))
y = y.T

# 出力音声の保存
sf.write('outout.wav', y, fs)

# グラフに表示
# - 波形
plt.figure('Original waveform')
plt.plot(x)

# - 復号した波形
plt.figure('Decryption waveform')
plt.plot(y)

# - 信号差の波形(ここが分からない。入力信号xと出力信号yの差信号x−yが求めたい)
plt.figure('Signal difference waveform')
plt.plot(x-y)

Comments

[NEK0o0]

丁寧な回答ありがとうございます。再検討し 下記のサイトのnperseg、noverlapを用いて要素数をそろえられないかと試した。のですがやはり、前回と同じエラーが出てしまいます。始めたばかりでわからないことばかりで見当違いな質問をしているかもしれませんがどうか教えていただけると幸いです。https://docs.scipy.org/doc/scipy/reference/generated/scipy.signal.istft.html

[toast-uz]

手近なwavファイルで試したみたところ、sg.stftのところで
UserWarning: nperseg = 256 is greater than input length = 2, using nperseg = 2
ValueError: noverlap must be less than nperseg.
が出て、質問者様の発生しているエラーまでたどり着けません。wavが違うためでしょうか？

[NEK0o0]

再度実行してみたのですが
```
Traceback (most recent call last):
File "", line 34, in <module>
plt.plot(x-y)
ValueError: operands could not be broadcast together with shapes (27200,) (27264,)
```
と出ています

[NEK0o0]

ファイル名は消しているため空白なのはそういうことです

[toast-uz]

ここの最初のファイルで試しています。
https://file-examples.com/index.php/sample-audio-files/sample-wav-download/
モノラルとステレオで違うのかと思って、別のところでステレオファイルを落としてやってみましたが、同じエラーが出ています。

[NEK0o0]

ありがとうございます。
なぜなのでしょうか…
正直、全く持ってやり方が分からない状態なのですが何かいい方法はないでしょうか…

[toast-uz]

すみません。まずは上記のファイルで、私と同じエラーになるのか、確認いただけますか？
エラーの出方が異なるのが、ファイルの違いなのか、別要因なのかを切り分けたいです。

[NEK0o0]

提示していただいたファイルであると同じエラーが発生しました

[NEK0o0]

また、使用しているファイルはステレオだと思います

[toast-uz]

ありがとうございます。もう少し考えてみます。

[toast-uz]

できました。

[toast-uz]

やや気持ち悪かった前半部分も、気持ちよく理由と対策がわかりましたので、修正しました。自分としては、会心の回答です。

[NEK0o0]

ここまでの回答をありがとうございます！！！
ほんとに助かりました！！
最悪無理やりゼロ行列でも入れるしかない、と思っていたので助かりました！