スペクトログラムからwav形式の音データに変換したが、雑音だらけ

Question

目的と問題点
目的　：　以下のコードで、スペクトログラムからwav形式の音データに変換、取得したい
問題点：　変換した音データが無茶苦茶な（？）雑音に変換されている

共有リンク：
(スペクトログラムから変換した音データ)
(スペクトログラムに変換する前の音データ,元の音データ)
(スペクトログラム)

そこで、正しく(ここでの正しさとは、元の音データと同じ音データを変換、取得すること)変換されていない原因と、
元の音データに近しくなるような変換、取得方法をご教授願いたいです。
よろしくお願いします。

#該当コード, スペクトログラムから音データに変換させたコード*

#!/usr/bin/env python
# -*- coding: utf-8 -*-

import time
import numpy as np
import scipy.io.wavfile as scw
from PIL import Image
from scipy.fftpack import ifft

img_path = "asmr_imgdata/オノマトペ.wav_fig.jpg"   # 読み込む画像の名前

# 読み込んだ画像のリサイズ設定
# 生成される音声の信号時間は height * width * 2 / fs [sec]
height = 1024      # 大きいほど時間分解能が高く
width = 64         # 大きいほど周波数分解能が高く

raw_input_img = Image.open(img_path).convert("L") # グレースケールで読み込み
input_img = raw_input_img.resize((height, width))
img_data = np.array(input_img, dtype="uint8")
img_data = np.rot90(img_data, 3)                   # 画像の回転(スペクトログラム表示のときの方向調整)
img_data = 255 - img_data                          # 黒がパワー大，白がパワー小となるようにネガポジ反転

# 時間方向で画像を分割し，1行を短時間周波数結果と見る
# 1行ごとに逆フーリエ変換(ifft)を行うことで波形を生成できる
wav_data = np.zeros((height, width * 2))
for i, spectral in enumerate(img_data):
    wav_data[i] = ifft(spectral, n=width*2).real

wav_data = np.reshape(wav_data, height * width * 2)        # 1行の行列データに整形
wav_data = (2 ** 15 * wav_data) // max(abs(wav_data))   # 最大が 2**15 になるように正規化
wav_data = np.array(wav_data, dtype="int16")         # data type を int16に(wav書き出しのため)

t = str(time.time()).replace(".", "")
wav_path = "xxxx.wav".format(t)       # 保存するwav音声の名前
fs = 16000                             # サンプリング周波数
scw.write(wav_path, fs, wav_data)       # wav書き出し

一応、以下に、音データからスペクトログラムに変換させたコードを貼っておきます
音データからスペクトログラムに変換させたコード

import wave
import scipy as sp
import numpy as np
from scipy import signal
import matplotlib.pyplot as plt
import soundfile as sf

print('名前を教えてください。')
your_asmr_name = input('>> ')

#音声データから生成するスペクトログラムのファイル名を決定
data_fig_name ="asmr_imgdata/"+ your_asmr_name+"_fig.jpg"

#読み込む音声ファイルの名前を決定
your_asmr_name = "asmrdata/" + your_asmr_name+ ".wav" 

read_path = your_asmr_name
print(your_asmr_name)

write_path = "asmrdata/re_test.wav"

wave_file = wave.open(read_path, "rb")

amp = 2 * np.sqrt(2)
length = 30000000
fs = wave_file.getframerate()
time = np.arange(length) / float(fs)
x = wave_file.readframes(wave_file.getnframes())
wav_x = np.frombuffer(x, dtype= "int16")

f, t, Zxx = signal.stft(wav_x[:length], fs, nperseg=1024)

plt.pcolormesh(t, f, np.log(np.abs(Zxx)), vmin=0, vmax=amp)
plt.title('STFT Magnitude')
plt.ylabel('Frequency [Hz]')
plt.xlabel('Time [sec]')
plt.savefig(data_fig_name) 

Comments

[ikadzuchi]

とりあえず気になる点として、その画像は実際に入力に使っているものですか?
もしそうなら周囲に余計なものが付いていて、かつ時間分解能が低すぎて意味のある出力は出そうにありませんが。
あとスペクトルグラムでなくスペクトログラムです。

[Kenza]

回答ありがとうございます。実際に入力に使った画像です。

質問ですが、周囲の余計なものとは具体的に何を意味するのでしょうか？？

[ikadzuchi]

余白や目盛りやキャプションのことです。

Answer 1

位相補完を行なっていない。
Grffinlim方などで位相補完、推定する