多クラス分類のハイパーパラメーターチューニングについて

Question

多クラス（５クラス）分類の際の、最適なハイパーパラメーターをランダムサーチで見つけたいと思っています。

import numpy as np
import keras
from keras.models import Sequential
from keras.layers import Dense, Dropout, Activation, Input
from keras.optimizers import SGD
import matplotlib.pyplot as plt
from keras import backend as K
import tensorflow as tf
from sklearn.utils import shuffle
from sklearn.metrics import label_ranking_average_precision_score

データセットを読み込み、シャッフルする。

x_train = np.loadtxt('x_train.dat')
y_train = np.loadtxt('y_train.dat')
x_test = np.loadtxt('x_test.dat')
y_test = np.loadtxt('y_test.dat')
x_train,y_train = shuffle(x_train, y_train)
x_test,y_test = shuffle(x_test, y_test)

モデルの枠組みです。

def pipline(inp_dim,　　　　　　　＃入力層
            n_nod,　　　　　　　　＃ノードの数
            drop = [],　　　　　　＃ドロップアウトの数
            act_fun = 'relu',　　＃アクティベーション関数
            out_act_fun = 'sigmoid',　＃最後のアクティベーション関数
            opt_method = 'Adam',　　　　＃最適化関数
            cost_fun = 'binary_crossentropy',　＃ロス関数
            lr_rate = 0.01, 　　　　　　　　　　　＃学習率
            lambd = 0.0, 　　　　　　　　　　　　　＃正則化率
            num_out = None,　　　　　　　　　　　　＃出力層
            batch_size = None):　　　　　　　　　　＃バッチサイズ

    
    main_input = Input(shape=(inp_dim,), dtype='float32', name='main_input')
    
    X = main_input
    
    for j,nod in enumerate(n_nod):

        X = Dense(nod, 
                  activation = act_fun,
                  kernel_regularizer= keras.regularizers.l2(lambd))(X)
        X =  keras.layers.Dropout(drop[j])(X)

    output = Dense(num_out, activation = out_act_fun )(X)
    
    method = getattr(keras.optimizers, opt_method)
    
    model =  keras.models.Model(inputs=[main_input], outputs=[output])
    model.compile(optimizer = method(lr = lr_rate),
                  loss = cost_fun)   
    
    return model

ループを使って、ランダムに呼び出したいハイパーパラメーター。ここがうまくいきません。
'n_nod'のところは、ランダムに５０~２０００の間の数字を数個選んで大きい順に並べたいと思っています。

for _ in range(1000):

    INPUT = {'inp_dim': x_train.shape[1],         
              'n_nod':sorted(np.random.choice(range(50,2000),
                                              size = np.random.choice(range(3,8))), reverse= True),
              'drop':[0.3,0,2,0.1,0., 0.,0.,0.,0.],
              'act_fun': np.random.choice( ['tanh', 'relu', 'sigmoid']), 
              'out_act_fun': 'softmax',       
              'opt_method':  np.random.choice('RMSprop', 'Adam', 'Adadelta']),              
              'cost_fun': 'sparse_categorical_crossentropy', 
              'lr_rate': np.random.choice([1e-1, 1e-2, 1e-3,  1e-5]),      
              'num_out' : 5 ,
              'lambd':np.random.choice( [1e-1, 1e-2, 1e-3, 1e-4, 1e-5]),
              'batch_size':np.random.choice([50, 100, 200, 256, 500,1000,2000, 4000]) }            

    model = pipline(**INPUT)
    
    history = model.fit(x_train, y_train,
                        validation_split=0.3,
                        verbose=1,
                        epochs= 100,
                        batch_size= INPUT['batch_size'])


    test_loss = model.evaluate(x_test,y_test, batch_size= INPUT['batch_size'] )
    print('Test loss:', test_loss)

    y_true = keras.utils.to_categorical(y_test)
    y_score = model.predict(x_test)
    
    p_score = label_ranking_average_precision_score(y_true, y_score) 
    print('precision score', p_score)

p_scoreの結果が良かった場合のみ保存する。

    if p_score > 0.7 :
        np.savetxt('good_hyperparameters', INPUT)

何か良い方法はないでしょうか。どうぞよろしくお願いいたします。

Answer 1

すいません。動き始めました。
どうしてエラーが出ていたのかわかりませんが。(^_^;) 上記のコードで大丈夫だったようです。お騒がせしました。