生成した物が10秒に切り取られてしまいます。

Question

https://colab.research.google.com/drive/1jyHLDzwsq6_fb5Zk-xqmP3MTIqr0Xhj4?usp=sharing

曲調を変換するコードで、10秒以上のコンテンツと10秒以上のスタイルを入力にとっても、
出力が10秒になってしまいます。どこが原因なのでしょう。
また、解決するにはどうすればよいのでしょう。
よろしくおねがいします。

Answer 1

ちゃんと走らせてないので勘です。盛大な独り言と思って数値をいじるのがよろしいかと思います。

コードをお尻から見ていくと

OUTPUT_FILENAME = 'outputs/out.wav'
librosa.output.write_wav(OUTPUT_FILENAME, x, fs)

とあり、ここで（理由はともかく）10秒のファイルを切り出しています。
ここで、fsはサンプリング周波数、xがデータの実態と思います。

ですので、

出力が10秒になってしまいます。

の原因はこのxが短すぎるだろう、と思うに至りました。

じゃあ、xは何なんだと。
直上にある、

for i in range(500):
    S = a * np.exp(1j*p)
    x = librosa.istft(S)
    p = np.angle(librosa.stft(x, N_FFT))

の500だとか、もっと前の

def read_audio_spectum(filename):
    x, fs = librosa.load(filename)
    S = librosa.stft(x, N_FFT)
    p = np.angle(S)
    
    S = np.log1p(np.abs(S[:,:430]))  
    return S, fs

の430が怪しく見えてきます。N_SAMPLESが多分430と思います。

特にこの430が怪しくて、N_FILTERS=4096が一秒あたりのサンプル数とすると、
4096/430≒9.53
大体10秒です。

途中にある画像の縦がチャネル、横が一列ごとにサンプルではないでしょうか。
途中の画像では縦が400で、横は入力通りの430でぶった切られています。
恐らくどういう音源を指定しても約10秒で切れる原因はここです。

A. 430をもっと大きくすると何かしらの答えが得られるのではないでしょうか？

---

430ってなんだよ？なんて質問も上がっていますね。

Comments

[退会済みユーザー]

ありがとうございます!
430を860にしてみても変わりませんでした…

[退会済みユーザー]

手法的にはこれで合っていそうです。
https://github.com/DmitryUlyanov/neural-style-audio-tf/issues/1

一番最後の回答から察すると、
1. 入力音声30秒を確保する
2. S = np.log1p(np.abs(S[:,:430]))の430を1290にする
3. 学習させる
4. 変換させる
で(1290/430)*9.53≒28.59となり、「Well, that will give you just under 30s actually.」の説明と合致します。

恐らく本家であろうDmitryUlyanovさんの以下のipynbで試してはいかがでしょうか？
https://github.com/DmitryUlyanov/neural-style-audio-tf/blob/master/neural-style-audio-tf.ipynb

[退会済みユーザー]

できました!
ありがとうございます!