話者認識 AI array shape エラー

Question

前提・実現したいこと

話者認識AIを作成するプログラムを記述しています。
話者6人の音声データ（5秒）を各5つずつ用意し、教師データ20個とテストデータ10個に分割しました。
下記ソースコードを実行したところ、エラーメッセージが表示されました。
何故エラーが発生したのか、またどう訂正すれば良いのかをご教授下さい。
numpyやlibrosaを学んでいる最中なので詳しいエラーの理由は分かりませんが、配列の形が異なるからであると考えています。

音声データのファイルツリー

sp1 > 1.wav, 2.wav, 3.wav, 4.wav, 5.wav
sp2 > 1.wav, 2.wav, 3.wav, 4.wav, 5.wav
...
sp6 > 1.wav, 2.wav, 3.wav, 4.wav, 5.wav

発生している問題・エラーメッセージ

all_mfccs = np.array(all_mfccs, dtype=object)
ValueError: could not broadcast input array from shape (20,346) into shape (20,)

該当のソースコード

import librosa
from glob import glob
from sklearn import model_selection, svm, metrics
import numpy as np
import random

all_mfccs = []
answers = []

# key: folder, value: speaker
file_and_voice = {"sp1":"sp1", "sp2":"sp2", "sp3":"sp3", "sp4":"sp4", "sp5":"sp5", "sp6":"sp6"}

# load all voice data
for i in range(len(file_and_voice)):
    files = glob(list(file_and_voice.keys())[i] + "/*")
    voice_answer = [list(file_and_voice.values())[i]] * len(files)
    answers.extend(voice_answer)
    for file_name in files:
        x, fs = librosa.load(file_name, sr=44100)
        mfccs = librosa.feature.mfcc(x, sr=fs)
        all_mfccs.append(mfccs)

# shuffle data without breaking MFCC-name combination
p = list(zip(all_mfccs, answers))
random.shuffle(p)
all_mfccs, answers = zip(*p)

# convert MFCC 3d-array to 2d-array
all_mfccs = np.array(all_mfccs, dtype=object)  # ここでエラー発生
all_mfccs = all_mfccs.reshape(len(all_mfccs),-1).astype(np.float64)

# split data into training and testing data
train_size = 20
test_size = 10
data_train, data_test, label_train, label_test = model_selection.train_test_split(all_mfccs, answers, test_size=test_size, train_size=train_size)

# learning by svm
clf = svm.SVC(gamma=0.0001, C=1)
clf.fit(data_train, label_train)

# try to predict test data
pred = clf.predict(data_test)
ac_score = metrics.accuracy_score(label_test, pred)
ac_num = metrics.accuracy_score(label_test, pred, normalize=False)

# show results
print("prediction:", pred)
print("expected:", label_test)
print(f"{ac_num}/{len(label_test)} ==> accuracy: {ac_score * 100}%%")