複数CPUでleave-one-outグリッドサーチの時間短縮

Question

前提・実現したいこと

回帰アルゴリズムのパラメーター最適化を行っています。
クロスバリデーションをleave-one-outで実行する場合のコードは出来ていますが、実行時間がかかるため、計算に複数CPUを使うようにして時間を短縮したいです。

発生している問題・エラーメッセージ

当該コードではCPU1つのみ作動。並列化を調べて試してみたが未達成。

該当のソースコード

from sklearn.model_selection import train_test_split
from sklearn.model_selection import LeaveOneOut
loo = LeaveOneOut()
from sklearn.metrics import r2_score, mean_squared_error

#GS関数を定義
def set_para(model, X, y):
    X_arr = np.array(X)
    y_arr = np.array(y)
    scores = []
    for train_val_samples, test_samples in loo.split(X_arr, y_arr):
        X_train_val, X_test = X_arr[train_val_samples], X_arr[test_samples]
        y_train_val, y_test = y_arr[train_val_samples], y_arr[test_samples]
        ytests = []
        ypreds = []  
        for train_samples, val_samples in loo.split(X_train_val, y_train_val):
            X_train, X_val = X_train_val[train_samples], X_train_val[val_samples] 
            y_train, y_val = y_train_val[train_samples], y_train_val[val_samples]
            model.fit(X_train, y_train)
            predicts = model.predict(X_val)
            ytests += list(y_val)
            ypreds += list(predicts)     
        score = r2_score(ytests, ypreds)
        scores.append(score) 
    return scores

#例えばElasticnetの場合
from sklearn.linear_model import ElasticNet
for alpha in [0, 0.001, 0.01, 0.1, 1]:
    for l1_ratio in [0, 0.001, 0.01, 0.1, 1]:
        values = set_para(ElasticNet(alpha = alpha, l1_ratio = l1_ratio), X, y)
        
        print(alpha, l1_ratio, np.mean(values))

試したこと

1 GridsearchCVとcross_val_scoreでn_jobs=-1を使用
回帰の場合leave-one-outでR2を出せない

2 Joblibで並列化する(https://qiita.com/Yuhsak/items/1e8533343cf5458e2e08)
参考にしながらコードを追加したがCPU一つだけ作動

補足情報（FW/ツールのバージョンなど）

ここにより詳細な情報を記載してください。

Answer 1

joblibを機能させることで解決できました。
もっとシンプルに記述出来そうな気がするのですが（スキル不足）

def set_para(model, X, y):
    X_arr = np.array(X)
    y_arr = np.array(y)
    scores = []
    for train_val_samples, test_samples in loo.split(X_arr, y_arr):
        X_train_val, X_test = X_arr[train_val_samples], X_arr[test_samples]
        y_train_val, y_test = y_arr[train_val_samples], y_arr[test_samples]
        ytests = []
        ypreds = []  
        for train_samples, val_samples in loo.split(X_train_val, y_train_val):
            X_train, X_val = X_train_val[train_samples], X_train_val[val_samples] 
            y_train, y_val = y_train_val[train_samples], y_train_val[val_samples]
            model.fit(X_train, y_train)
            predicts = model.predict(X_val)    
            ytests += list(y_val)
            ypreds += list(predicts)      
        score = r2_score(ytests, ypreds)
        scores.append(score) 
    return scores

from joblib import Parallel, delayed
from sklearn.linear_model import ElasticNet

def func(p_alpha, p_l1_ratio):
    return p_alpha, p_l1_ratio, set_para(ElasticNet
                                         (alpha = p_alpha, l1_ratio = p_l1_ratio), X, y)
alpha = np.logspace(-2, 4, 24)
l1_ratio = np.logspace(-2, 4, 24)
best_result = 0
values = Parallel(n_jobs=-1, verbose=1)([delayed(func)(p_alpha, p_l1_ratio) 
                              for p_alpha in alpha 
                              for p_l1_ratio in l1_ratio])
#上の計算でvalues[i][0,1,2]が出る。iは総当りのindexつまり個数-1。[0,1,2]はalpha,l1, result
number_of_value = len(alpha)*len(l1_ratio)-1
for i in range(number_of_value):
    result = np.mean(values[i][2])    
    if result > best_result:
        best_result = result
        best_parameters = {'alpha':values[i][0], 'l1_ratio':values[i][1]}

print(best_parameters, best_result)