InvalidArgumentError: Graph execution error: が解決できません

Question

実現したいこと

プログラミング初心者です。
Google Driveで自然言語処理でマルチラベル分類を試している最中なのですが、学習の際に「InvalidArgumentError: Graph execution error:」というエラーが出てきてしまい、改善できなくて困っております。

model.summaryまでは問題なく動くのですが、fit_generatorがどうしてもうまくいきません。
理解が浅く大変申し訳ないのですが、どうかご教授していただければ幸いです。
よろしくお願いいたします。

前提

model.fit_generator(generator('df_train.pickle', batch_size),
                    steps_per_epoch=4932//batch_size,
                    validation_data=generator('df_test.pickle', batch_size),
                    validation_steps=1645//batch_size,
                    callbacks=[hist], epochs=1)

上記のコードの部分のpickleには、
df_train.pickle→(4932,2)
df_test.pickle(1645,2)でデータフレームが格納されています。
また、データフレームの列の0番目は符号化した文章、1番目はマルチラベルが格納されています。

発生している問題・エラーメッセージ

InvalidArgumentError                      Traceback (most recent call last)
<ipython-input-38-2becdecf9c94> in <cell line: 134>()
    133 
    134 if __name__ == "__main__":
--> 135     train(True)

3 frames
/usr/local/lib/python3.10/dist-packages/tensorflow/python/eager/execute.py in quick_execute(op_name, num_outputs, inputs, attrs, ctx, name)
     50   try:
     51     ctx.ensure_initialized()
---> 52     tensors = pywrap_tfe.TFE_Py_Execute(ctx._handle, device_name, op_name,
     53                                         inputs, attrs, num_outputs)
     54   except core._NotOkStatusException as e:

InvalidArgumentError: Graph execution error:

Detected at node 'model_16/embedding_18/embedding_lookup' defined at (most recent call last):
    (省略)
    File "/usr/local/lib/python3.10/dist-packages/keras/utils/traceback_utils.py", line 96, in error_handler
      return fn(*args, **kwargs)
    File "/usr/local/lib/python3.10/dist-packages/keras/layers/core/embedding.py", line 272, in call
      out = tf.nn.embedding_lookup(self.embeddings, inputs)
Node: 'model_16/embedding_18/embedding_lookup'
indices[112,1] = 1723 is not in [0, 128)
	 [[{{node model_16/embedding_18/embedding_lookup}}]] [Op:__inference_train_function_7121]

該当のソースコード

from keras.layers import Conv1D,Conv2D, BatchNormalization, Activation, Input,Flatten,MaxPooling1D
from keras.layers import AveragePooling2D, GlobalAveragePooling2D, Dense, Embedding, Dropout
from keras.models import Model
from keras.callbacks import History
from keras.optimizers import SGD
import keras.backend as K

import pandas as pd
import numpy as np
import pickle

def create_network():
  max_length=128
  embedding_size=128
  filters=64
  kernel_size = 3

  input=Input(shape=(max_length)) 
  x=Embedding(max_length, embedding_size)(input) 

  x=Conv1D(filters,kernel_size, padding='same', activation='relu', strides=1)(x) 
  
  x=MaxPooling1D(pool_size=2)(x)
  x=Flatten()(x)

  x=Dense(50, activation="relu")(x)
  x=Dropout(0.5)(x)

  x=Dense(10, Activation('sigmoid'))(x)

  return Model(input, x)


# ジェネレーター
def generator(df_path, batch_size):
    with open(df_path, 'rb') as f:
      df = pickle.load(f)
    df = df.values
    while True:
        img_cahce, label_cache = [], []
        indices = np.arange(df.shape[0])
        np.random.shuffle(indices)
        for i in indices:
            img_cahce.append(df[i, 0]) #image
            label_cache.append(df[i, 1]) #label
            if len(img_cahce) == batch_size:
                #X_batch = np.asarray(img_cahce, np.float32) / 255.0
                #y_batch = np.asarray(label_cache, np.float32)
                X_batch = np.asarray(img_cahce, np.float32)
                y_batch = np.asarray(label_cache, np.float32)
                img_cahce, label_cache = [], []
                yield X_batch, y_batch


# 損失関数
def categorical_loss(y_true, y_pred):
    return K.categorical_crossentropy(y_true, y_pred)

def binary_loss(y_true, y_pred):
    bce = K.binary_crossentropy(y_true, y_pred)
    return K.sum(bce, axis=-1)


# 評価関数
def total_acc(y_true, y_pred):
    pred = K.cast(K.greater_equal(y_pred, 0.5), "float")
    flag = K.cast(K.equal(y_true, pred), "float")
    return K.prod(flag, axis=-1)

def binary_acc(y_true, y_pred):
    pred = K.cast(K.greater_equal(y_pred, 0.5), "float")
    flag = K.cast(K.equal(y_true, pred), "float")
    return K.mean(flag, axis=-1)



def train(use_binary_loss):
    model = create_network()
    if use_binary_loss:
      #モデルの設定
      #SGD：ミニバッチ学習
        model.compile(SGD(0.01, 0.9), loss=binary_loss, metrics=[total_acc, binary_acc])
    else:
        model.compile(SGD(0.01, 0.9), loss=categorical_loss, metrics=[total_acc, binary_acc])

    hist = History() #学習経過

    model.summary() #モデル確認

    batch_size = 128

    model.fit_generator(generator('df_train.pickle', batch_size),
                        steps_per_epoch=4932//batch_size,
                        validation_data=generator('df_test.pickle', batch_size),
                        validation_steps=1645//batch_size,
                        callbacks=[hist], epochs=1)

    history = hist.history

    #保存
    with open(f"multiclass_binary_{use_binary_loss}.dat", "wb") as fp:
        pickle.dump(history, fp)

if __name__ == "__main__":
    train(True)

Answer 1

学習データの最大文字数が少ないのに無駄にpaddingしていたため、学習データをトークナイザにかける際にmax_lengthを64に修正したら動きました。
学習データの配列の0の数があまりにも多すぎるとこのエラーが出るのかもしれません。
実際のところはどうか分からないのですが、これが誰かのお役に立てますように……