kerasでFunctional APIによってレイヤーラッパーを実装したい

Question

前提・実現したいこと

kerasでTimeDistributedをAveragePooling2Dにつかおうとしています。
python keras google colaboratory tpu,flow_from_directoryを使用
エラーが発生している行を消去すると動作するのは確認済みです。

発生している問題・エラーメッセージ

ValueError: Shape must be rank 4 but is rank 3 for 'time_distributed/AvgPool' (op: 'AvgPool') with input shapes: [?,24,256].

該当のソースコード

from tensorflow.keras.layers import Input, Conv2D, BatchNormalization, Activation, AveragePooling2D, Dense, Dropout, Flatten

def basic_cnn_module(input, chs):
    x = Conv2D(chs, 3, padding="same")(input)
    x = BatchNormalization()(x)
    x = Activation("relu")(x)
    return x
from tensorflow.keras.layers import TimeDistributed

def create_cnn_model():
    input = Input((96,96,3))
    x = basic_cnn_module(input, 96)
    x = AveragePooling2D(2)(x)
    x = basic_cnn_module(x, 256)
    x = AveragePooling2D(2)(x)
    x = basic_cnn_module(x, 384)
    x = basic_cnn_module(x, 384)
    x = basic_cnn_module(x, 256)
    x = TimeDistributed(AveragePooling2D(2))(x)#エラー
    x = Flatten()(x)
    x = Dense(5, activation="softmax")(x)
    return Model(input, x)

試したこと

エラーメッセージで検索してみましたが、関連のありそうなものは以下ぐらいでした。
https://stackoverflow.com/questions/55012775/how-do-i-solve-this-error-shape-must-be-rank-4-but-is-rank-3
これを参考にLambdaを用いてみましたが結果は同じでした。

ネットにはSequential ModelによるTimeDistributedの使い方がほとんどのようでしたが、Functional APIではレイヤーラッパーはうまく使えないのでしょうか。

それとも、エラーの行の引数を工夫すれば問題ないエラーなのでしょうか。

よろしくおねがいします。

Answer 1

問題は、TimeDistributedをFunctional APIにて使っていることではなく、

TimeDistributedをAveragePooling2Dに使う場合に入力データとして
(batch_size、flame、hight、widht、channel)
を入力する必要があるにもかかわらず、
(batch_size、hight、widht、channel)
のデータしか入力されていない事が原因かと思います。

from tensorflow.keras.models import Model
from tensorflow.keras.layers import Input, AveragePooling2D, TimeDistributed

input = Input((100,96,96,3))
x = TimeDistributed(AveragePooling2D(2))(input) # 問題なし
model = Model(input, x)
model.summary()

input = Input((96,96,3))
x = TimeDistributed(AveragePooling2D(2))(input) # エラー
model = Model(input, x)
model.summary()

Comments

[keraker]

ありがとうございます。
モデルサイズの縮小に役立つという記事を見てともかく使ってみようと思っていたのですが、
これは時系列データのようなものに対してではないと使えないのですね。
それともほかにも用途がありますか。

[magichan]

基本的には、時系列・テキスト・音声・動画などに適用するものでしょうね。

[keraker]

重ねて御礼申し上げます。
コメントの返信にはメールは来ないのか、もしくは見逃していました。
テキストにもたしかLSTMが使われていましたね。
再発見でした。