常連

自己紹介

PytorchでCifar-100を使用して20種類の画像分類を行っています。
自作Datasetの作り方の部分で質問があります。
Datasetを作成にあたりtrainとvalidとtestに分けてデータセットを作成します。trainとvalidは画像ファイル名と対応するラベルが記されたtrain_master.tsvを使用してdic形式にまとめた後に下に記載のLabelsDatasetでtrainとvalidのデータセットを作ります。
一方で、testに関しては同様な形で下の画像のようなsample_submit.csv より作成しようとしましたが、こちらは画像ファイル名と20個のラベルの確率を記したファイルのため同じようにできません。どのように修正すべきかご教示いただけませんでしょうか？
sample_submit.csv 
![イメージ説明](https://ddjkaamml8q8x.cloudfront.net/questions/2022-07-03/75179164-c6bf-4d79-9c43-a1499303f22e.png)


```ここに言語を入力
# ライブラリ読み込み
import os
import glob
import random
import numpy as np
import pandas as pd
from sklearn.model_selection import train_test_split
import json
from PIL import Image
from tqdm import tqdm
import matplotlib.pyplot as plt
get_ipython().run_line_magic('matplotlib', 'inline')

import torch
import torch.nn as nn
import torch.optim as optim
import torch.utils.data as data
import torchvision
from torchvision import models, transforms

torch.manual_seed(1234)
np.random.seed(1234)
random.seed(1234)

# 前処理クラス定義
class ImageTransform():
    """
    画像の前処理クラス。訓練時、検証時で異なる動作をする
    """
    
    def __init__(self, resize, mean, std):
        self.data_transform = {
            'train': transforms.Compose([
                transforms.RandomResizedCrop(resize, scale=(0.5, 1.0)),
                transforms.RandomHorizontalFlip(),
                transforms.ToTensor(),
                transforms.Normalize(mean, std)
            ]),
            'val': transforms.Compose([
                transforms.Resize(resize),
                transforms.CenterCrop(resize),
                transforms.ToTensor(),
                transforms.Normalize(mean, std)
            ]),
            'test': transforms.Compose([
                transforms.Resize(resize),
                transforms.CenterCrop(resize),
                transforms.ToTensor(),
                transforms.Normalize(mean, std)
            ])
        }

         def __call__(self, img, phase='train'):
        return self.data_transform[phase](img)

        """
        Parameters
        ----------
        phase : 'train' or 'val'
            前処理のモードを指定。
        """

size = 224
mean = (0.485, 0.456, 0.406)
std = (0.229, 0.224, 0.225)

# 学習用、検証用にデータを分割
label_df = pd.read_csv('/content/drive/MyDrive/data/20labels/input/train_master.tsv',sep="\t")

test_size = 0.2
train_df, val_df = train_test_split(label_df, test_size=test_size, random_state=42, stratify=label_df['label_id'])
print(train_df.shape, val_df.shape)

#trainとvalに分けdic形式でまとめる
train_label_dic = dict(zip(train_df['file_name'], train_df['label_id']))
val_label_dic = dict(zip(val_df['file_name'], val_df['label_id']))

# Dataset作成
class LabelsDataset(data.Dataset):
    def __init__(self, label_dic, root_dir, transform=None, phase='train'):
        self.label_dic = label_dic
        self.root_dir = root_dir
        self.images = list(label_dic.keys())
        self.transform = transform
        self.phase = phase

    #__len__() : クラスインスタンスにlen()を使った時に呼ばれる関数    
    def __len__(self):
        return len(self.images)
    
    #__getitem__() : クラスインスタンスの要素を参照するときに呼ばれる関数
    def __getitem__(self, idx):
        filename = self.images[idx]
        img = Image.open(os.path.join(self.root_dir, filename))
        img_transformed = self.transform(img, self.phase)
        label = self.label_dic[filename]
        return img_transformed, label

train_dataset = LabelsDataset(train_label_dic, '/content/data/train/', ImageTransform(size, mean, std), 'train')
val_dataset = LabelsDataset(val_label_dic, '/content/data/train/', ImageTransform(size, mean, std), 'val')
```


Pytorch Datasetの作り方 train(valid)とtestで元にするファイル形式が異なる場合

PytorchでCifar-100を使用して20種類の画像分類を行っています。
VGG-16と学習させたモデルのパラメータを読み込んで推論を行う部分にて質問があります。

以下は確率の高いラベル一つだけを選んでますが、アウトプットとしてはsample_submit.csvのように画像ファイルに対して20個各ラベルの確率を出力したいと考えています。以下のargmaxのところで一つのラベルを選択しているのは把握しておりますが、各ラベルの確率として出力するにはどのように改変するには至らず、ご教示いただけませんでしょうか？
sample_submit.csv
![イメージ説明](https://ddjkaamml8q8x.cloudfront.net/questions/2022-07-03/53779293-a570-4f0a-b696-9a25497164e0.png)
```ここに言語を入力
# 学習済みのVGG-16モデルをロード
# VGG-16モデルのインスタンスを生成
use_pretrained = True
net = models.vgg16(pretrained=use_pretrained)

# VGG16の最後の出力層の出力ユニットを付け替える
net.classifier[6] = nn.Linear(in_features=4096, out_features=20)

# PyTorchのネットワークパラメータのロード
load_path = '/content/drive/MyDrive/data/20labels/output/weights_fine_tunig.pth'
load_weights = torch.load(load_path)
net.load_state_dict(load_weights)

net.eval()

# 推論
def predict(net, test_dataloader):
    
    device = torch.device('cuda:0' if torch.cuda.is_available() else 'cpu')
    print('使用デバイス: ', device)
    
    # ネットワークをGPUへ
    net.to(device)
    
    # ネットワークの順伝搬および誤差関数の計算手法がある程度一定であれば、GPUの計算を高速化
    torch.backends.cudnn.benchmark = True
    
    net.eval()
    
    preds = []

    # データ ローダーからミニバッチを取り出すループ
    for inputs, _ in tqdm(test_dataloader):

        # GPUが使えるならGPUにデータを送る
        inputs = inputs.to(device)

        # 順伝搬(forward)計算
        with torch.no_grad():
            outputs = net(inputs) # NNを通して出力計算
            preds += [int(output.argmax()) for output in outputs]
    
    return preds

preds = predict(net, test_dataloader)
test_df['label_id'] = preds

save_path = '/content/drive/MyDrive/data/20labels/output/submission.csv'
test_df.to_csv(save_path,  index=False,header=False)
```

Pytorch 他クラス分類 各ラベルの確率で出力

keras のSequentialモデルでTarget(目的変数）を6つのカテゴリー（1～6）に分類する
予測モデルを構築しています。
データはエクセルから読み込みPandasのDFに入れて使用しています。
予測モデルの構築までは辿りついたのですが、予測に寄与する特徴量を可視化
することが上手くできません。特徴量を可視化するためにShap値を使おうと
しています。Shap値を取得するために、DeepExplainerでどのようにコード
を記述したら良いかわかりません。説明変数は50個あります。

以下は現在、記述しているコードで、
shap.initjs()
background = x_train[np.random.choice(x_train.shape[0], 50, replace=False)]
explainer = shap.DeepExplainer(model,background)
shap_values = explainer.shap_values(x_test)
shap.summary_plot(shap_values,x_test,plot_type='bar')

実行すると以下のようなエラーが出ています。
raise KeyError(f"None of [{key}] are in the [{axis_name}]")
KeyError: "None of [Int64Index([ 501,  296, 2071, 1589, 1376, 1354,  639,   70, 1976, 1949,  562,\n            1003, 1735,  162, 1109, 1596,  218, 1068,  401, 1413,  709,  483,\n            1524,  770, 1011,   75, 2050,  259,  471,  472,  677,  895, 1570,\n            1372,  478, 1147, 1172, 1502,  791,  535,  754, 1937,  706,  940,\n            1534,  436,  361, 1204,  588, 1282],\n           dtype='int64')] are in the [columns]"

Shap値にお詳しい方ご教授ください。よろしくお願い致します。
DeepExplainer以外に良い方法がある場合も教えてください。

Kerasで実行するShap値を用いた特徴量の可視化について

ゼロからわかるDeep Learningの第４章でcommon/functions.pyのモジュールにあるsoftmaxのメソッドをimportする時にModuleNotFoundErrorが出ます。
作業しているのはch04の階層で行なっていて、common.の後でtabキーで補完をするとfunctionsが出てくるのに、なぜimport出来ないのでしょうか。

補足
datasetフォルダにあるmnist.pyにあるload_mnistはimport出来ます。

```python
import os, sys
sys.path.append(os.pardir)
from common.functions import softmax
```

![イメージ説明](5b9cae0658a063f13a481451532bd035.png)

以下のch04上で作業しています。

![イメージ説明](26f88341d63eb73882f23425abcf273e.png)

【ModuleNotFoundError】ゼロからわかるDeep Learning

### 前提・実現したいこと

私は、pythonや深層学習については初心者で、今回のエラーメッセージについても理解しきれているわけではありません。

下記のサイトで深層学習を使ってノイズ除去をしたいと思っているのですが、

https://sja-analysis.org/python-deep-learning-noise-reduction/#toc2

jupyter notebookで実行して

```
UnicodeDecodeError: 'utf-8' codec can't decode byte 0x8e in position 65: invalid start byte
```

と出ます。

このエラーに関する解決策にencoding='UTF-8'のようなものがあり、
これを
```
val_dataset.create_tf_record(prefix='val', subset_size=2000, encoding='UTF-8')
```
のように入力しましたが、

```
TypeError: create_tf_record() got an unexpected keyword argument 'encoding'
```
となりました。

この結果から
①encoding='UTF-8'と入力することが必要ない
②encoding='UTF-8'を別の行に入力する
③encoding='UTF-8'以外の方法がある
等、色々な疑問が浮かびますが、自分一人では解決できそうにありません。
どなたか解答を頂けると幸いです。

### 発生している問題・エラーメッセージ

```
Total number of training examples: 6391
# of Training clean files: 5391
# of  Validation clean files: 1000
Number of classes: [0 1 2 3 4 5 6 7 8 9]
Class c: 0 has: 900 files
Class c: 1 has: 396 files
Class c: 2 has: 900 files
Class c: 3 has: 900 files
Class c: 4 has: 900 files
Class c: 5 has: 907 files
Class c: 6 has: 342 files
Class c: 7 has: 904 files
Class c: 8 has: 846 files
Class c: 9 has: 900 files
Noise training: 7695
Noise validation: 200
---------------------------------------------------------------------------
UnicodeDecodeError                        Traceback (most recent call last)
<ipython-input-28-c9c0ce041cf9> in <module>
     24 
     25 val_dataset = Dataset(clean_val_filenames, noise_val_filenames, **config)
---> 26 val_dataset.create_tf_record(prefix='val', subset_size=2000)
     27 
     28 train_dataset = Dataset(clean_train_filenames, noise_train_filenames, **config)

~\dataset.py in create_tf_record(self, prefix, subset_size, parallel)
    139                 continue
    140 
--> 141             writer = tf.io.TFRecordWriter(tfrecord_filename)
    142             clean_filenames_sublist = self.clean_filenames[i:i + subset_size]
    143 

~\anaconda3\lib\site-packages\tensorflow\python\lib\io\tf_record.py in __init__(self, path, options)
    296 
    297     # pylint: disable=protected-access
--> 298     super(TFRecordWriter, self).__init__(
    299         compat.as_bytes(path), options._as_record_writer_options())
    300     # pylint: enable=protected-access

UnicodeDecodeError: 'utf-8' codec can't decode byte 0x8e in position 65: invalid start byte
```

### 該当のソースコード

```python
#data_processing.
from mozilla_common_voice import MozillaCommonVoiceDataset
from urban_sound_8K import UrbanSound8K
from dataset import Dataset
import warnings


warnings.filterwarnings(action='ignore')

mozilla_basepath = r'C:\Users\ユーザ名\cnn-audio-denoiser-master\data_processing\en'
urbansound_basepath = r'C:\Users\ユーザ名\cnn-audio-denoiser-master\data_processing\UrbanSound8K'

mcv = MozillaCommonVoiceDataset(mozilla_basepath, val_dataset_size=1000)
clean_train_filenames, clean_val_filenames = mcv.get_train_val_filenames()

us8K = UrbanSound8K(urbansound_basepath, val_dataset_size=200)
noise_train_filenames, noise_val_filenames = us8K.get_train_val_filenames()

windowLength = 256
config = {'windowLength': windowLength,
          'overlap': round(0.25 * windowLength),
          'fs': 16000,
          'audio_max_duration': 0.8}

val_dataset = Dataset(clean_val_filenames, noise_val_filenames, **config)
val_dataset.create_tf_record(prefix='val', subset_size=2000)

train_dataset = Dataset(clean_train_filenames, noise_train_filenames, **config)
train_dataset.create_tf_record(prefix='train', subset_size=4000)

## Create Test Set
clean_test_filenames = mcv.get_test_filenames()

noise_test_filenames = us8K.get_test_filenames()

test_dataset = Dataset(clean_test_filenames, noise_test_filenames, **config)
test_dataset.create_tf_record(prefix='test', subset_size=1000, parallel=False)

```
（パス参照部分のユーザ名は隠しているだけで実際は数字やアルファベットになっています）


### 補足情報（FW/ツールのバージョンなど）

windows10
python3.8.8(jupyternotebook)
Anaconda4.10.3
tensorflow2.3.0

この質問内に足りていない情報等がございましたら、指摘していただきたいです。
その都度、可能な限り追記していきます。

UnicodeDecodeError: 'utf-8' codec can't decode byte 0x8e in position 65: invalid start byte

### 前提・実現したいこと
ディープラーニングで音声分類
https://qiita.com/cvusk/items/61cdbce80785eaf28349#%E6%84%9F%E6%83%B3  
を試しています。

githubはこちらになります。
https://github.com/shibuiwilliam/audio_classification_keras/blob/master/esc50_classification.ipynb

学習をさせていましたが、



```
(7500, 128, 1723, 1)
(7500, 50)
(500, 128, 1723, 1)
(500, 50)
Epoch 1/1000


468/468 [==============================] - 10955s 23s/step - loss: 3.7678 - accuracy: 0.0459 - val_loss: 3.5413 - val_accuracy: 0.0900
```

と、
468で終わったと思ったときに、


### 発生している問題・エラーメッセージ

```
---------------------------------------------------------------------------
KeyError                                  Traceback (most recent call last)
/tmp/ipykernel_5255/932675263.py in <module>
     13                     verbose=1,
     14                     shuffle=True,
---> 15                     callbacks=[es_cb, cp_cb])

~/anaconda3/envs/noise_supp/lib/python3.7/site-packages/keras/legacy/interfaces.py in wrapper(*args, **kwargs)
     89                 warnings.warn('Update your `' + object_name + '` call to the ' +
     90                               'Keras 2 API: ' + signature, stacklevel=2)
---> 91             return func(*args, **kwargs)
     92         wrapper._original_function = func
     93         return wrapper

~/anaconda3/envs/noise_supp/lib/python3.7/site-packages/keras/engine/training.py in fit_generator(self, generator, steps_per_epoch, epochs, verbose, callbacks, validation_data, validation_steps, validation_freq, class_weight, max_queue_size, workers, use_multiprocessing, shuffle, initial_epoch)
   1730             use_multiprocessing=use_multiprocessing,
   1731             shuffle=shuffle,
-> 1732             initial_epoch=initial_epoch)
   1733 
   1734     @interfaces.legacy_generator_methods_support

~/anaconda3/envs/noise_supp/lib/python3.7/site-packages/keras/engine/training_generator.py in fit_generator(model, generator, steps_per_epoch, epochs, verbose, callbacks, validation_data, validation_steps, validation_freq, class_weight, max_queue_size, workers, use_multiprocessing, shuffle, initial_epoch)
    258                     break
    259 
--> 260             callbacks.on_epoch_end(epoch, epoch_logs)
    261             epoch += 1
    262             if callbacks.model.stop_training:

~/anaconda3/envs/noise_supp/lib/python3.7/site-packages/keras/callbacks/callbacks.py in on_epoch_end(self, epoch, logs)
    150         logs = logs or {}
    151         for callback in self.callbacks:
--> 152             callback.on_epoch_end(epoch, logs)
    153 
    154     def on_train_batch_begin(self, batch, logs=None):

~/anaconda3/envs/noise_supp/lib/python3.7/site-packages/keras/callbacks/callbacks.py in on_epoch_end(self, epoch, logs)
    700         if self.epochs_since_last_save >= self.period:
    701             self.epochs_since_last_save = 0
--> 702             filepath = self.filepath.format(epoch=epoch + 1, **logs)
    703             if self.save_best_only:
    704                 current = logs.get(self.monitor)

KeyError: 'val_acc'
```

と出てしまいました。

今、調べながら質問しているのですが、
どなたかわかる人、解決方法を教えていただきたいです。

また、これで、エラーが出てしまったので一からやり直しですか。



### 該当のソースコード

```python
# train model
batch_size = 16
epochs = 1000
print(x_train.shape)
print(y_train.shape)
print(x_test.shape)
print(y_test.shape)
training_generator = MixupGenerator(x_train, y_train)()
model.fit_generator(generator=training_generator,
                    steps_per_epoch=x_train.shape[0] // batch_size,
                    validation_data=(x_test, y_test),
                    epochs=epochs, 
                    verbose=1,
                    shuffle=True,
                    callbacks=[es_cb, cp_cb])
```

今現在、val_accをval_accuracyにして試しています。

### 補足情報（FW/ツールのバージョンなど）
ValueError: not enough values to unpack (expected 2, got 1)
https://teratail.com/questions/374966

これが解決して、その続きになります。
足りない情報は、指摘されたときに追記していきます。

KeyError: 'val_acc'について

### 前提・実現したいこと

kerasのImageDataGeneratorを使って画像を２分類する。
Anomaly_detection/trainフォルダにngとokフォルダがあり、その中に画像が入っています。（validationも同様）


### 該当のソースコード

```
classes = ['ng','ok'] #分類するクラス
nb_classes = len(classes)

train_data_dir = 'content/drive/MyDrive/Colab_Notebooks/Anomaly_detection/train'
validation_data_dir = '/content/drive/MyDrive/Colab_Notebooks/Anomaly_detection/validation'

nb_train_samples = 250*0.8
nb_validation_samples = 250*0.2 

img_width, img_height = 300, 300

from keras.preprocessing.image import ImageDataGenerator
train_datagen = ImageDataGenerator(rescale=1.0 / 255, zoom_range=0.2, horizontal_flip=True)
validation_datagen = ImageDataGenerator(rescale=1.0 / 255)
```
上記のように設定をした上で、以下のコードを実行すると

```

train_generator = train_datagen.flow_from_directory(
  train_data_dir,
  target_size=(img_width, img_height),
  color_mode='rgb',
  classes=classes,
  class_mode='categorical',
  batch_size=10)

validation_generator = validation_datagen.flow_from_directory(
  validation_data_dir,
  target_size=(img_width, img_height),
  color_mode='rgb',
  classes=classes,
  class_mode='categorical',
  batch_size=10)
```

### 発生している問題・エラーメッセージ

```
  File "<ipython-input-2-ee5f74fe1e65>", line 2
    train_data_dir,
    ^
SyntaxError: invalid character in identifier
```
このようにinvalid character in identifierというエラーが出てしまいます。。

### 試したこと

train_data_dirに代入するパスの場所などを変更してみたりしたのですがずっと同じエラーが出てしまいます。
詳しい方いましたら教えてください。

invalid character in identifier　のエラー

### カルマンフィルタを用いての予測
一年間のバスの利用者数のデータを用いて翌年1年間の利用者数を予測したいと考えています。
そこでカルマンフィルタを用いて予測を行ったのですが、季節成分のみでは正確な予測が出来ませんでした。
そこで、利用者数が圧倒的に少ない日（お盆休み、、など）を抽出してダミー変数化してモデルに入れたいと考えていますが、どのように組み込めばいいでしょうか。このサイトを参考にしています。→https://logics-of-blue.com/python-state-space-models/
初心者で、分かりにくいと思いますがよろしくお願いいたします。

### 発生している問題・エラーメッセージ

```

```

### 該当のソースコード

```　python
#---ライブラリのインポート
import pandas as pd
import matplotlib.pyplot as plt

# グラフを横長にする
from matplotlib.pylab import rcParams
rcParams['figure.figsize'] = 15, 6

# 統計モデル
import statsmodels.api as sm

df = pd.read_csv('バス利用者.csv', encoding = "shift-jis")

df['ymd'] = pd.to_datetime(df['ymd'])
df['B_Year'] = df['ymd'].dt.year
df['B_Month']= df['ymd'].dt.month.fillna(0.0).astype(int)
df['B_Day'] = df['ymd'].dt.day.fillna(0.0).astype(int)
df['B_Hour'] = df['ymd'].dt.hour
df['B_Minute'] = df['ymd'].dt.minute
df['B_Date'] = df['B_Year'].astype(str).str.zfill(4).astype(str) + df['B_Month'].astype(str).str.zfill(2).astype(str) + df['B_Day'].astype(str).str.zfill(2).astype(str)
df['B_DayofWeek'] = df['ymd'].dt.dayofweek.fillna(-1.0).astype(int)#曜日

df['KosyaTm'] = pd.to_datetime(df['KosyaTm'])
df['A_Month']= df['KosyaTm'].dt.month
df['A_Day'] = df['KosyaTm'].dt.day
df['A_Hour'] = df['KosyaTm'].dt.hour
df['A_Minute'] = df['KosyaTm'].dt.minute

B_BSList = BSList.rename('JosyaTeiNm')
A_BSList = BSList.rename('KosyaTeiNm')

df = pd.merge(df, B_BSList,on='JosyaTeiNm',how='left', indicator=True)

#---ODペアの付与
df['ODPair'] = df['JosyaTeiNm'] + '-' + df['KosyaTeiNm']

df_1 = df.groupby(['B_Date']).count()['ODPair'].reset_index()
df_1['B_Date'] = pd.to_datetime(df_1['B_Date'], format='%Y%m%d')
df_1 = df_1.set_index('B_Date')#B_Dateをインデックスに


# 日付形式にする
ts = df_1['ODPair'] 
ts.head()

# プロット
plt.plot(ts)



################################
# ローカルレベルモデルの推定
################################
mod_local_level = sm.tsa.UnobservedComponents(ts, 'local level')

# 最尤法によるパラメタの推定
res_local_level = mod_local_level.fit()

# 推定されたパラメタ一覧
print(res_local_level.summary())

# 推定された状態・トレンドの描画
rcParams['figure.figsize'] = 15, 15
fig = res_local_level.plot_components()
fig2 = res_local_level.plot_diagnostics()


################################
# ローカル線形トレンドモデル
################################
mod_trend = sm.tsa.UnobservedComponents(ts,'local linear trend')

# 最尤法によるパラメタの推定
# ワーニングが出たのでBFGS法で最適化する
res_trend = mod_trend.fit(method='bfgs')

# 推定されたパラメタ一覧
print(res_trend.summary())

# 推定された状態・トレンドの描画
rcParams['figure.figsize'] = 15, 20
fig = res_trend.plot_components()
fig2 = res_trend.plot_diagnostics()

################################
# 季節変動ありのローカルレベルモデル
################################
mod_season_local_level = sm.tsa.UnobservedComponents(
    ts,
    'local level',
    seasonal = 6
    
)

# まずはNelder-Meadでパラメタを推定し、その結果を初期値としてまた最適化する。2回目はBFGSを使用。
res_season_local_level = mod_season_local_level.fit(
    method='bfgs', 
    maxiter=500, 
    start_params=mod_season_local_level.fit(method='nm', maxiter=500).params,
)

# 推定されたパラメタ一覧
print(res_season_local_level.summary())

# 推定された状態・トレンド・季節の影響の描画
rcParams['figure.figsize'] = 15, 20
fig = res_season_local_level.plot_components()
fig2 = res_season_local_level.plot_diagnostics()

################################
# 季節変動ありのローカル線形トレンドモデル
################################
mod_season_trend = sm.tsa.UnobservedComponents(
    ts,
    'local linear trend',
    seasonal = 6
 
)

# まずはNelder-Meadでパラメタを推定し、その結果を初期値としてまた最適化する。2回目はBFGSを使用。
res_season_trend = mod_season_trend.fit(
    method='bfgs', 
    maxiter=500, 
    start_params=mod_season_trend.fit(method='nm', maxiter=500).params,
)

# 推定されたパラメタ一覧
print(res_season_trend.summary())

# 推定された状態・トレンド・季節の影響の描画
rcParams['figure.figsize'] = 15, 20
fig = res_season_trend.plot_components()
fig2 = res_season_trend.plot_diagnostics()

################################
# 季節変動ありのローカル線形トレンドモデル
# ただし、トレンドの分散は無し
################################
mod_season_trend_d = sm.tsa.UnobservedComponents(
    ts,
    'local linear deterministic trend',
    seasonal = 6
    
)

# まずはNelder-Meadでパラメタを推定し、その結果を初期値としてまた最適化する。2回目はBFGSを使用。
res_season_trend_d = mod_season_trend_d.fit(
    method='bfgs', 
    maxiter=500, 
    start_params=mod_season_trend_d.fit(method='nm', maxiter=500).params,
)

# 推定されたパラメタ一覧
print(res_season_trend_d.summary())

# 推定された状態・トレンド・季節の影響の描画
rcParams['figure.figsize'] = 15, 20
fig = res_season_trend_d.plot_components()
fig2 = res_season_trend_d.plot_diagnostics()

################################
# 季節変動ありのローカル線形トレンドモデル
# ただし、トレンドと観測誤差の分散は無し
################################
mod_season_rw = sm.tsa.UnobservedComponents(
    ts,
    'random walk with drift',
    seasonal = 6
    

)

# まずはNelder-Meadでパラメタを推定し、その結果を初期値としてまた最適化する。2回目はBFGSを使用。
res_season_rw = mod_season_rw.fit(
    method='bfgs', 
    maxiter=500, 
    start_params=mod_season_rw.fit(method='nm', maxiter=500).params,
)

# 推定されたパラメタ一覧
print(res_season_rw.summary())

# 推定された状態・トレンド・季節の影響の描画
rcParams['figure.figsize'] = 15, 20
fig = res_season_rw.plot_components()
fig2 = res_season_rw.plot_diagnostics()

################################
# 今まで計算してきたモデルのAICを格納する
################################
aic_list = pd.DataFrame(index=range(6), columns=["model", "aic"])

aic_list.loc[0]["model"] = "res_local_level"
aic_list.loc[0]["aic"] = res_local_level.aic

aic_list.loc[1]["model"] = "res_trend"
aic_list.loc[1]["aic"] = res_trend.aic

aic_list.loc[2]["model"] = "res_season_local_level"
aic_list.loc[2]["aic"] = res_season_local_level.aic

aic_list.loc[3]["model"] = "res_season_trend"
aic_list.loc[3]["aic"] = res_season_trend.aic

aic_list.loc[4]["model"] = "res_season_trend_d"
aic_list.loc[4]["aic"] = res_season_trend_d.aic

aic_list.loc[5]["model"] = "res_season_rw"
aic_list.loc[5]["aic"] = res_season_rw.aic

# 結果の表示
aic_list



```

### 試したこと



### 補足情報（FW/ツールのバージョンなど）

ここにより詳細な情報を記載してください。

pythonで正確な予測を実現したい

lightgbmでGridSearchCVを使用したときにエラーが発生します。

同じコードで3クラス分類(0,1,2の3値)を実行するとエラーは発生しません。
しかし元データを**2値(0,1)**に変更して2クラス分類で実行すると何故かエラーが発生します。

アドバイス頂戴できれば幸いです。

```ここに言語を入力
#グリッドサーチ
import lightgbm as lgb
from sklearn.model_selection import GridSearchCV

# LGB用のデータセットを登録
#lgb_train = lgb.Dataset(x_train_std, y_train)
#lgb_test = lgb.Dataset(x_test_std, y_test, reference=lgb_train)
 
lightgbm = lgb.LGBMClassifier(objective='binary', random_state=0)

params = {'task':[ 'train'],              # タスクを訓練に設定
          'boosting_type': ['gbdt'],      # GBDTを指定
          'objective': ['multiclass'],    # 多クラス分類を指定
          'metric': ['multi_logloss'],  # 多クラス分類の損失（誤差）
          'num_class': [2],               # クラスの数
          'learning_rate': [0.2,0.4],         # 学習率
          'max_dapth': [1,5],        # 木の深さ
          'num_leaves': [5,10],             # ノードの数
          'min_data_in_leaf': [15,20],        # 決定木ノードの最小データ数
          'num_iteration': [100]# 予測器(決定木)の数:インタレーション（反復数）（デフォルトは100）
         }

gbm = GridSearchCV(estimator=lightgbm, 
                   param_grid=params,
                   scoring='accuracy',
                   cv=2, 
                   n_jobs=-1,
                   verbose=0,
                  )

gbm.fit(x_train_std, y_train)

# 最も良いパラメータとスコア
print(gbm.best_params_) 
print(gbm.best_score_)

```

以下、エラー
```ここに言語を入力
---------------------------------------------------------------------------
_RemoteTraceback                          Traceback (most recent call last)
_RemoteTraceback: 
"""
Traceback (most recent call last):
  File "C:\python\anaconda\pgm\lib\site-packages\joblib\externals\loky\process_executor.py", line 418, in _process_worker
    r = call_item()
  File "C:\python\anaconda\pgm\lib\site-packages\joblib\externals\loky\process_executor.py", line 272, in __call__
    return self.fn(*self.args, **self.kwargs)
  File "C:\python\anaconda\pgm\lib\site-packages\joblib\_parallel_backends.py", line 567, in __call__
    return self.func(*args, **kwargs)
  File "C:\python\anaconda\pgm\lib\site-packages\joblib\parallel.py", line 225, in __call__
    for func, args, kwargs in self.items]
  File "C:\python\anaconda\pgm\lib\site-packages\joblib\parallel.py", line 225, in <listcomp>
    for func, args, kwargs in self.items]
  File "C:\python\anaconda\pgm\lib\site-packages\sklearn\model_selection\_validation.py", line 560, in _fit_and_score
    test_scores = _score(estimator, X_test, y_test, scorer)
  File "C:\python\anaconda\pgm\lib\site-packages\sklearn\model_selection\_validation.py", line 607, in _score
    scores = scorer(estimator, X_test, y_test)
  File "C:\python\anaconda\pgm\lib\site-packages\sklearn\metrics\_scorer.py", line 88, in __call__
    *args, **kwargs)
  File "C:\python\anaconda\pgm\lib\site-packages\sklearn\metrics\_scorer.py", line 206, in _score
    y_pred = method_caller(estimator, "predict", X)
  File "C:\python\anaconda\pgm\lib\site-packages\sklearn\metrics\_scorer.py", line 53, in _cached_call
    return getattr(estimator, method)(*args, **kwargs)
  File "C:\python\anaconda\pgm\lib\site-packages\lightgbm\sklearn.py", line 819, in predict
    return self._le.inverse_transform(class_index)
  File "C:\python\anaconda\pgm\lib\site-packages\sklearn\preprocessing\_label.py", line 301, in inverse_transform
    "y contains previously unseen labels: %s" % str(diff))
ValueError: y contains previously unseen labels: [ 94 291]
"""

The above exception was the direct cause of the following exception:

ValueError                                Traceback (most recent call last)
<ipython-input-132-e861004b35ec> in <module>
     29                   )
     30 
---> 31 gbm.fit(x_train_std, y_train)
     32 
     33 # 最も良いパラメータとスコア

C:\python\anaconda\pgm\lib\site-packages\sklearn\utils\validation.py in inner_f(*args, **kwargs)
     70                           FutureWarning)
     71         kwargs.update({k: arg for k, arg in zip(sig.parameters, args)})
---> 72         return f(**kwargs)
     73     return inner_f
     74 

C:\python\anaconda\pgm\lib\site-packages\sklearn\model_selection\_search.py in fit(self, X, y, groups, **fit_params)
    734                 return results
    735 
--> 736             self._run_search(evaluate_candidates)
    737 
    738         # For multi-metric evaluation, store the best_index_, best_params_ and

C:\python\anaconda\pgm\lib\site-packages\sklearn\model_selection\_search.py in _run_search(self, evaluate_candidates)
   1186     def _run_search(self, evaluate_candidates):
   1187         """Search all candidates in param_grid"""
-> 1188         evaluate_candidates(ParameterGrid(self.param_grid))
   1189 
   1190 

C:\python\anaconda\pgm\lib\site-packages\sklearn\model_selection\_search.py in evaluate_candidates(candidate_params)
    713                                for parameters, (train, test)
    714                                in product(candidate_params,
--> 715                                           cv.split(X, y, groups)))
    716 
    717                 if len(out) < 1:

C:\python\anaconda\pgm\lib\site-packages\joblib\parallel.py in __call__(self, iterable)
    932 
    933             with self._backend.retrieval_context():
--> 934                 self.retrieve()
    935             # Make sure that we get a last message telling us we are done
    936             elapsed_time = time.time() - self._start_time

C:\python\anaconda\pgm\lib\site-packages\joblib\parallel.py in retrieve(self)
    831             try:
    832                 if getattr(self._backend, 'supports_timeout', False):
--> 833                     self._output.extend(job.get(timeout=self.timeout))
    834                 else:
    835                     self._output.extend(job.get())

C:\python\anaconda\pgm\lib\site-packages\joblib\_parallel_backends.py in wrap_future_result(future, timeout)
    519         AsyncResults.get from multiprocessing."""
    520         try:
--> 521             return future.result(timeout=timeout)
    522         except LokyTimeoutError:
    523             raise TimeoutError()

C:\python\anaconda\pgm\lib\concurrent\futures\_base.py in result(self, timeout)
    430                 raise CancelledError()
    431             elif self._state == FINISHED:
--> 432                 return self.__get_result()
    433             else:
    434                 raise TimeoutError()

C:\python\anaconda\pgm\lib\concurrent\futures\_base.py in __get_result(self)
    382     def __get_result(self):
    383         if self._exception:
--> 384             raise self._exception
    385         else:
    386             return self._result

ValueError: y contains previously unseen labels: [ 94 291]
```

lightgbmでGridSearchCVを使用した時のエラー(2クラス分類)

BERTの事前学習には、training loss と validation loss の概念はないのでしょうか。
さまざまな記事を検索していても、lossの出力をしている方は見かけるのですが、そのlossが何を表しているのか分かりません。
どなたかご教示いただけますと非常に助かります。
よろしくお願いします。