[python] TDNN(Time Delay Neural Network)をpythonで実装する方法を教えていただきたいです。

Question

前提

現在、音声の特徴分類をするために機械学習（python,kerasなど）を勉強中です。
具体的には、20種類の特徴を入力し学習させて7種類に分類したいと考えています。
色々調べた結果、TDNN(Time Delay Neural Network)が気になっています。

###実現したいこと

"フォルダ構造"

nameのフォルダの中から1つランダムに選択し、その中の特徴データからランダムに１つ選択(このデータを n とすると)、加えて4つのデータ(n-3, n-1, n+1, n+3)もまとめて入力する
上記のことを全nameデータを使用するまで繰り返す。
みたいなこと

モデルとしては
入力-隠れ層-隠れ層-出力
を予定

Feed Forward neural networkでやってみたいです。

発生している問題

TDNNを概念としては理解できたのですがこれをプログラムに表すことができません。
「実現したいこと」の太字の部分です。

質問の仕方が下手で申し訳ないのですが、よろしくお願いします。

試したこと

見つけたTDNNサンプルコード

ここのプログラムを見てみたのですがいまいち理解できず応用することができません。
畳み込みが混ざっていたり…