kerasにおけるGANにてGeneratorの複数の出力をDiscriminatorの入力とする方法

Question

前提・実現したいこと

時系列データの生成を行うため、kerasにてGANを構成しようと思っております。Generatorの入力次元、出力次元はそれぞれ、
input_shape = (n_data, max_len, dim_in)
output_shape = (n_data, dim_out)
とし、Discriminatorの入力次元、出力次元をそれぞれ、
input_shape = (1, n_data, dim_out)
output_shape = (1, 1)
にしたいと考えております。GeneratorとDiscriminatorのうまく接続する方法はございますでしょうか？

該当のソースコード

import numpy as np
from tensorflow.keras.models import Model
from tensorflow.keras.layers import Input, LSTM, Dense

# 任意の数
n_data = 2
dim_in = 3
dim_out = 5
max_length = 7
dim_hidden = 11

d_in = Input(shape=(n_data, dim_out, ))
d = LSTM(dim_hidden)(d_in)
d_out = Dense(1, activation='sigmoid')(d)
discriminator = Model(d_in, d_out)

g_in = Input(shape=(max_len, dim_in, ))
g = LSTM(dim_hidden)(g_in)
g_out = Dense(dim_out)(g)
generator = Model(g_in, g_out)

#combined modelの構築が分かりません。

x = np.random.normal(0, 1, (n_data, max_len, dim_in))
gen_x = generator.predict(x) #gen_x.shape = (n_data, dim_out)
gen_x = gen_x.reshape(1, n_data, dim_out)
y = discriminator.predict(gen_x) # y.shape = (1, 1)

試したこと

kerasでは、入力と出力でのバッチサイズを同じにする必要があるというのを見つけました。GeneratorとDiscriminatorのバッチサイズを同じにするために、Generatorの入力を4階テンソルにすればよいのではないかと思いました。つまり、Generatorの入力次元、出力次元をそれぞれ、
input_shape = (batch_size, n_data, max_length, dim_in)
out_shape = (batch_size, n_data, dim_out)
にし、Discriminatorの入力次元、出力次元をそれぞれ、
input_shape = (batch_size, n_data, dim_out)
output_shape = (batch_size, 1)
にしようと思いました。しかし、公式ドキュメントによると、LSTMの入力は3階テンソルのみで、4階テンソルを入力にしようとすると、エラーが発生しました。

batch_size = 13

d_in = Input(shape=(n_data, dim_out, ))
d = LSTM(dim_hidden)(d_in)
d_out = Dense(1, activation='sigmoid')(d)
discriminator = Model(d_in, d_out)

g_in = Input(shape=(n_data, max_len, dim_in, ))
g = LSTM(dim_hidden)(g_in) #ここでエラーが発生
g_out = Dense(dim_out)(g)
generator = Model(g_in, g_out)

#combined modelの構築が分かりません。

x = np.random.normal(0, 1, (batch_size, n_data, max_len, dim_in))
gen_x = generator.predict(x) #理想は、gen_x.shape = (batch_size, n_data, dim_out)
y = discriminator.predict(gen_x) # y.shape = (batch_size, 1)

補足情報（FW/ツールのバージョンなど）

Python 3.6.5
tensorflow-gpu 2.1.0

Comments

[tacanoviano]

”うまく接続する”が実現できていないのかもしれませんが、該当のソースコードでエラーは出ませんでした。どうなればゴールなのでしょうか？

[aaa_ytooooo]

該当のソースコードでは，エラーはでません。現在の状況では，Discriminatorの学習を行うことができるのですが，Generatorの学習ができません。Generatorの学習のために，DiscriminatorとGeneratorを接続したCombinedモデルを定義したいです。該当のソースコードのコメント「#combined modelの構築が分かりません。」の部分が記述されていないためエラーは出ません。想定するゴールとしましては，kerasのModelもしくはSequencialを用いて，g_inを入力とし，d_outを出力するようなモデルを定義したいと思っております。

Answer 1

↓リンクの入力次元をアレンジするのはダメですか？

ＬＳＴＭにこだわりがあるのでしょうか。

真贋を判定する目的のdiscriminatorに

ＬＳＴＭ（時系列データを予測するためのもの？）を使っているのが違和感を感じるのですが、

私の知識不足ですか？

リンク内容

【追記0617】
LSTMを使うとdiscriminator は(2,5,1)の入力を求めてくるのですが
generatorが（2,5）の出力しか出せないので
（私の今の知識では）combinedモデルが出来なかったです。
discriminatorは時系列データを扱っていても、次のデータを予測するわけではなく本物か偽物かを判定するのが仕事なので、別のモデルを組み込んではどうか↓と思いました。

import tensorflow as tf
from keras.backend import tensorflow_backend

from tensorflow import keras
from tensorflow.keras.models import Sequential,Model
from tensorflow.keras.layers import Activation, Dense, Dropout, Flatten,Input,LSTM
from tensorflow.keras import backend as K
from tensorflow.keras.initializers import he_normal
from tensorflow.keras.optimizers import Adam

import os
import numpy as np 


np.random.seed(0)
np.random.RandomState(0)
tf.set_random_seed(0)
config = tf.ConfigProto(gpu_options=tf.GPUOptions(allow_growth=True))
session = tf.Session(config=config)
tensorflow_backend.set_session(session)

n_data= 2
max_len = 7
dim_in = 3
dim_out = 5
dim_hidden = 11


def build_generator_l():
    model = Sequential()
    model.add(LSTM(dim_hidden,input_shape=(max_len,dim_in)))
    model.add(Dropout(0.2))
    model.add(Dense(dim_out*1))
    
   # model.summary()
    
    return model

def build_discriminator_l():
    model = Sequential()
    #model.add(LSTM(dim_hidden,input_shape=(dim_out,1),return_sequences=False))
    model.add(Dense(dim_hidden,input_dim = dim_out , activation = 'relu'))
    model.add(Dropout(0.2))
    model.add(Dense(1))
    
   # model.summary()
    
    return model


ge= build_generator_l()#Generator

optimizer = Adam(lr=0.0002, beta_1=0.5)#Discriminator
dsc = build_discriminator_l()
dsc.compile(loss='binary_crossentropy', optimizer=optimizer, metrics=['accuracy'])

z = Input(shape=( max_len, dim_in))#combinedモデル
img = ge(z)
dsc.trainable = False
valid = dsc(img)
cmb = Model(z,valid)
cmb.compile(loss='binary_crossentropy', optimizer=optimizer)

noise = np.random.normal(0, 1, (n_data, max_len, dim_in))#Generatorへの入力
g_loss = cmb.train_on_batch(noise, np.ones((n_data, 1)))#Combinedモデルの学習（1バッチ）

print(g_loss)

Comments

[aaa_ytooooo]

リンクの入力次元をアレンジの意味が分からないのですがどういうことでしょうか？
discriminatorにLSTMを使っている理由としましては，C-RNN-GANのモデルを参考にdiscriminatorを構築しました．C-RNN-GANでは，discriminatorに双方向LSTMを使用しております。また，discriminatorに入力するデータが時系列データを想定しているためです。私自身も知識不足な部分もあるため，間違っているかもしれませんが，discriminatorをどのような構造にしても，generator側で問題が発生しているため，解決にはならないと思います。

[aaa_ytooooo]

追記していただきありがとうございます。generatorの出力の次元が(2,5)なのは理解できますが、LSTMを用いた場合のdiscriminatorの入力次元が(2,5,1)の入力を求めてくるとはどういうことでしょうか？ 私の考えとしましては、discriminatorの入力次元は(1, 2, 5)もしくは(batch_size, 2, 5)にしたいと考えております。
discriminatorにLSTMを使う必要がないことは理解しました。私の解釈ですが、RNNやLSTMでは各時刻ごとの入力データのつながりを表現できると思っております。discriminatorでは真偽を判定するだけですが、時刻ごとのデータのつながりも考えた上で真偽の判定ができればと思っておりました。

[tacanoviano]

ＬＳＴＭのinput_shapeにデータのＮ数(n_data）やバッチ数(batch_size)を指定してモデル化することは（私には？）できません。一つの入力の形（今回は（５，１））を指定すると、自動でN数を前につけた入力（今回は（N数,5,1)）を要求してきました。なので（２，１，５）はできるかもしれませんが、（１，２，５）はできそうにありません。あと、generatorの出力とdiscriminatorの入力は次元がそろっていないと、（LSTMでは）combinedを作れませんでした。何かテクニックがあるのかもしれませんが。LSTMでdiscriminatorを作る方法を探しつつ、別のモデルで学習を始めてはどうかと思います。combined modelを作らなければLSTMのdiscriminatorを学習させたり真贋判定させることはできる(generatorの出力(2,5)をreshape(2,5,1)とすればLSTMのdiscriminatorに入力できました)ので、別モデルで学習させたdiscriminatorとLSTMのdeiscriminatorどちらが優れているかは評価できると思います。

[aaa_ytooooo]

コメントいただきありがとうございます。公式ドキュメントにもあるようにInputを用いればn_dataやbatch_sizeを含めた入力の形を指定することはできます。
generatorの出力次元とdiscriminatorの入力次元をそろえる必要があることは分かりますが、generatorの記述の仕方が分からないため、そろえることができていない状況です。
現在は別のモデルも探しています。