音声から文字列生成を行うlstmのためのデータの前処理について

Question

音楽ゲームの譜面を作るモデルを作ろうとしています。

そのデータの適切な前処理の方法についてお伺いしたいと思います。

前提

対象としている音楽ゲーム：

Osu!

一曲ごとのファイル構造

    例
    sogns/
        ├─1667560 xi - FREEDOM DiVE/
            ├─audio.mp3
            ├─EykD9SkXIAA7R16.jpg
            ├─xi - FREEDOM DiVE (Aistre) [DeviousPanda's MAXiMUM].osu
        ├他の曲
...

・自由なファイル名.mp3　プレイ中に流れる音楽ファイル
・自由なファイル名.jpg　背景の画像
・タイトル[難易度].osu　譜面の情報が格納されているファイル
となっており、譜面ファイル(.osu)は詳しくは以下のようになっています。

譜面の構造

https://osu.ppy.sh/wiki/en/Client/File_formats/Osu_%28file_format%29

要約：

譜面のファイルはテキストファイルであり、
ファイルの先頭でファイルフォーマットのバージョンを指定
その後は[General]といったセクションで区切られており、
使用する音楽ファイルの名前を指定するなどのメタデータやヒットオブジェクトと呼ばれるゲーム内に登場するオブジェクトの出現位置などの情報が格納されています。
ここでサンプルをダウンロードすることができます:
https://osu.ppy.sh/beatmapsets/39804#osu/126645

現在のデータセットの前処理

現在このような処理を行っています↓
https://github.com/yutadd/DL-Osu-Mapper/blob/main/Untitled.ipynb

解説

曲のディレクトリから曲が入っているサブディレクトリを一覧で取得し、
得られたディレクトリ内から.osu拡張子のファイルを取得し、
4行目にあるオーディオファイル名を取得し、
librosaを用いて、そのオーディオデータのスペクトルデータを取得し、
spect_dataset配列に追加-----------1
譜面データである.osuファイルの内容をすべてを一つの文字列としてmap_datasetに追加-----------2

作戦

このスペクトルデータ'1',譜面データ'2'をlstmを用いて学習を行い、
最終的に、スペクトルデータから譜面データを生成するモデルを作成したいと思っています。

現在書いているコード

import tensorflow.keras
import re
import keras.layers as layers
from keras.models import Sequential
import librosa
import os
import numpy as np
osuFilePattern=re.compile(".*\.osu$")
FileRecordPattern=re.compile("AudioFilename:.*")
songsPath="D:\osu\Songs"
songs = os.listdir(songsPath)
spect_dataset=[]
map_dataset=[]
songs_size=len(songs)
loaded_size=0
stop_loading=False
for sname in songs:
    if not stop_loading:
        songFiles=os.listdir(songsPath+"\\"+sname)
        if os.path.isdir(songsPath+"\\"+sname):
            for fileName in songFiles:
                if not stop_loading:
                    if osuFilePattern.match(fileName):
                        file=open(songsPath+"\\"+sname+"\\"+fileName,encoding='utf-8')
                        for _ in range(3):
                            file.readline()
                        colmn=file.readline()
                        if FileRecordPattern.match(colmn):
                            colmn=colmn.split(':')[1].strip()
                            #sr:samplerate:22050
                            #y:オーディオ時系列:1次元配列
                            y,sr=librosa.load(songsPath+"\\"+sname+"\\"+colmn,sr=16000)
                            spect_dataset.append(y)
                            print(y.shape)
                            file=open(songsPath+"\\"+sname+"\\"+fileName,encoding='utf-8')
                            map_dataset.append(file.read())
                            loaded_size+=1
                            #読み込み制限
                            if loaded_size>=8:
                                stop_loading=True
                                break
                else:
                    break
    else:
        break
        print(str(loaded_size)+"/"+str(songs_size)+"* map per songs")
        
#読み込み完了
''' Failed to convert a NumPy array to a Tensor (Unsupported object type numpy.ndarray).
spect_dataset=np.array(spect_dataset)
map_dataset=np.array(map_dataset)
model=Sequential()
model.add(layers.LSTM(10))
model.add(layers.Dense(len(map_dataset[0]), activation='softmax'))
model.compile(loss='categorical_crossentropy', optimizer='adam', metrics=['accuracy'])
model.fit(spect_dataset,map_dataset,epochs=20,batch_size=40,verbose=2)
predicted=model.predict(spect_dataset[np.newaxis, ...])
print(predicted.shape)
print(predicted)
'''

お伺いしたいこと

前提の作戦でお話した目的を達成するためにはどのようなデータの前処理を行うべきか

Comments

[ps_aux_grep]

> スペクトルデータ'1',譜面データ'2'をlstmを用いて学習を行い、最終的に、スペクトルデータから譜面データを生成するモデルを作成したい

seq2seqというカテゴリに属するタスクになります．「seq2seq 前処理」等でググって取り組まれている前処理を調べるのが良いと思います．
あと，githubのリンク切れてて見れないです．

[darkestscience]

なるほど、seq2seqというのですね。ありがとうございます。このキーワードを使って調べてみようと思います

Answer 1

音声＋文字列 = 文字列を解くと、音声 = 0