時系列データを二値分類（行数が統一されたデータ）

Question

前提

ps_aux_grep様にご教授いただいたモデルを用いて，別のデータの二値分類をしたところ，エラーメッセージが出て，解決に至らない状況です。

前回は行数の異なるデータを用いておりましたが，今回は30行で統一されたデータ（行名を含めると31行）を用いております。データ自体に欠損値があるなどの問題はないことを確認しております。その他の影響で考えられること，修正案をご教示いただけますと幸いです。

発生している問題・エラーメッセージ

---------------------------------------------------------------------------
AssertionError                            Traceback (most recent call last)
<ipython-input-6-878f4bfc0c58> in <cell line: 89>()
     87 batch_size = 8
     88 time_stamp = 30
---> 89 generator = DataLoader(split = 3, roll = time_stamp, batch_size = batch_size, epochs = epochs)
     90 
     91 def reround(number, ndigits=0): # 0から1の閾値調整

<ipython-input-6-878f4bfc0c58> in __init__(self, split, batch_size, epochs, roll)
     24                 self.y.append(self.category[name])
     25                 self.l.append(len(open(file).readlines()) - 1) # subtract header row
---> 26                 assert self.l[-1] > roll, f"Missing roll size: (roll, file length): ({roll}, {self.l[-1]}) on {file}"
     27         self.skf = StratifiedKFold(split, shuffle = True)
     28 

AssertionError: Missing roll size: (roll, file length): (30, 30) on /content/drive/MyDrive/data_FOG/noFOG/ID004_2.csv

該当のソースコード

import csv
import math
import numpy as np
from glob import glob
import pandas as pd
import seaborn as sns
import matplotlib.pyplot as plt
import os
from sklearn.preprocessing import StandardScaler
from sklearn.model_selection import StratifiedKFold
from google.colab import drive
drive.mount('/content/drive')

class DataLoader:
    def __init__(self, split: int, batch_size: int, epochs: int, roll: int):
        self.batch_size = batch_size
        self.epochs = epochs
        self.roll = roll
        self.file, self.y, self.l = list(), list(), list()
        self.category = {"normal": 0, "abnormal": 1} 
        for name in self.category.keys():
            for i, file in enumerate(glob(f"/content/drive/MyDrive/data/{name}/*.csv")):
                self.file.append(file)
                self.y.append(self.category[name])
                self.l.append(len(open(file).readlines()) - 1) # subtract header row
                assert self.l[-1] > roll, f"Missing roll size: (roll, file length): ({roll}, {self.l[-1]}) on {file}"
        self.skf = StratifiedKFold(split, shuffle = True)
    
    def generator(self, idx, epochs):
        X1, X2, X3, y = list(), list(), list(), list()
        for e in range(epochs):
            np.random.shuffle(idx)
            for i in idx:
                start = np.random.randint(0, self.l[i] - self.roll - 1)
                data = pd.read_csv(self.file[i]).values[start: start + self.roll]
                data = StandardScaler().fit_transform(data.reshape(-1, 1)).reshape(data.shape)
                X1.append(np.concatenate([data[:, 8:26], data[:, 71:83]], axis = -1))
                X2.append(data[:, 107:113])
                X3.append(data[:, 117:120])
                y.append(self.y[i])
                if len(X1) == self.batch_size:
                    yield list(map(np.array, [X1, X2, X3])), np.array(y) # Returning Just one batch
                    X1, X2, X3, y = list(), list(), list(), list()
            if len(X1):
                yield list(map(np.array, [X1, X2, X3])), np.array(y) # Rreturning remain batch
    
    def split(self):
        for train, test in self.skf.split(self.file, self.y):
            self.test_idx = test
            yield (
                self.generator(train, self.epochs),
                self.generator(test, self.epochs),
                math.ceil(len(train) / self.batch_size),
                math.ceil(len(test) / self.batch_size)
            )

import tensorflow as tf
from tensorflow.python import keras
from keras.models import Sequential, Model
from keras.layers import Input, Dense, Concatenate, Flatten, Dropout
from keras.layers import Conv1D, AveragePooling1D, GlobalAveragePooling1D
from keras.layers import LSTM
from keras.optimizers import Adam
from keras.callbacks import EarlyStopping, ReduceLROnPlateau

def build_model2(time_stamp):
    inputs1 = Input(shape = (300, 30))
    inputs2 = Input(shape = (300, 6))
    inputs3 = Input(shape = (300, 3))

    x1 = Conv1D(32, 7, activation = "swish", kernel_initializer = "he_uniform")(inputs1) 
    x1 = AveragePooling1D()(x1) 
    x2 = Conv1D(32, 7, activation = "swish", kernel_initializer = "he_uniform")(inputs2) 
    x2 = AveragePooling1D()(x2)
    x3 = Conv1D(32, 7, activation = "swish", kernel_initializer = "he_uniform")(inputs3) 
    x3 = AveragePooling1D()(x3) 

    combined = Concatenate(axis = -1)([x1, x2, x3]) 
    x = LSTM(32, dropout = 0.2)(combined) 
    x = Dense(1, activation = "sigmoid")(x)
    return Model(inputs = [inputs1, inputs2, inputs3], outputs = x)

from sklearn.metrics import confusion_matrix, ConfusionMatrixDisplay
from sklearn.metrics import balanced_accuracy_score, accuracy_score, precision_score, recall_score, f1_score

epochs = 128
batch_size = 8
time_stamp = 30
generator = DataLoader(split = 3, roll = time_stamp, batch_size = batch_size, epochs = epochs)

def reround(number, ndigits=0): # 0から1の閾値調整
  shift_amount = 10 ** ndigits
  shifted = number * shift_amount
  return np.floor(shifted +0.6) / shift_amount

for train_gen, valid_gen, steps_per_epoch, validation_steps in generator.split():
    model = build_model2(time_stamp) # Be sure to rebuild the model with each fold.
    model.summary()
    model.compile(
        loss = "binary_crossentropy",
        optimizer = Adam(),
        metrics = ["acc"]
    )
    es = EarlyStopping(
        monitor = "val_loss", # val_lossが
        patience = 10,        # 10epoch間で
        mode = "min",         # 最小値を更新しなかったら
        restore_best_weights = True, # ベストのweightsを採用して終了
        verbose = 1,
    )
    # 学習モデルにデータを与えて学習させる
    model.fit(
        train_gen,
        epochs = epochs,
        steps_per_epoch = steps_per_epoch,
        class_weight = {0: 4, 1: 1},
        validation_data = valid_gen,
        validation_steps = validation_steps,
        callbacks = [es],
    )

    y_valid, y_pred = list(), list()
    test_generator = generator.generator(generator.test_idx, 1)
    for (X1, X2, X3), y in test_generator:
        y_pred.extend(reround(model.predict([X1, X2, X3], batch_size = batch_size)))
        y_valid.extend(y)

    #混同行列
    tn, fp, fn, tp = confusion_matrix(y_valid, y_pred).ravel() #混同行列のそれぞれの結果を取得
    print(f"TN {tn} / FP {fp} / FN {fn} / TP {tp}")

Comments

[TakaiY]

エラーの原因は、26行目のassertですね。 自分のコードのチェックにひっかかっているだけなので、理由はわかるのではないかと思うのですが。

[Muuuuki]

ご返答いただきありがとうございます。恥ずかしながら，私自身，非エンジニア（一般の病院職）で，コードはコピペがほとんどで，エラー文を調べて検索に引っかからないと，どのように修正するのか分からない状況です…まずはassertに関する知識について調べてみます。

Answer 1

コメントを受けて、assertのやっていることだけ。 (意味ではない)

assert self.l[-1] > roll, f"Missing roll size: (roll, file length): ({roll}, {self.l[-1]}) on {file}"

assert文は、条件に合致しているかどうかチェックするための仕組み。 指定された条件に合致していないと、例外が発生するようになっている。

ここでは、 self.lの最後(-1)の値が rollよりも大きいかどうかチェックしている。
self.l の最後はは直前でappendされたもの

self.l.append(len(open(file).readlines()) - 1) # subtract header row

ここでは、ファイルを開いて全部読んで(readlines())数えて(len)1引いている。 ファイルの行数ー1 だから、データ行数ですね。
(※ ファイル開いたっきりで閉じてないのは気になる)

rollの値は関数への引数で、

time_stamp = 30
generator = DataLoader(split = 3, roll = time_stamp, batch_size = batch_size, epochs = epochs)

30となっています。

assertのエラーメッセージの内容を見ると、そのとおり、

AssertionError: Missing roll size: (roll, file length): (30, 30) on /content/drive/MyDrive/data_FOG/noFOG/ID004_2.csv

で、データ数が30 で、 rollが30 で同じ = 大きくない からエラーってことですね。

ID004_2.csv ファイルに入っているデータが 30行なんでしょうね。

これがいいのかわるいのかは僕にはわかりません。 わからないので、どのように直したらいいのかもわかりません。

Comments

[Muuuuki]

コードに対する説明をご丁寧に教えていただきありがとうございます。
以前は，行数がバラバラなデータ（最小250行程度，最大3,600行程度）を与えて，二値分類をするモデルの作成を目指しておりました。今回はフレームレート30のデータを1秒(30行)だけ抽出して，それを正常と異常の二値分類をするモデルを作成したいと考えております。しかし，エラーメッセージが出てしまい，どう修正すればエラーなく実行できるか分からず，数日経過してしまった状況です。

[TakaiY]

この部分を見るかぎり、データ数が30より大きいかどうか確認することになっていますが、「今回はフレームレート30のデータを1秒(30行)だけ抽出して」ということであれば、データ数はきっちり30なのですよね？
ということは、どうしてこのassert文になったのか知りませんが、このassertそのものが間違えているということでしょう。
assertというのは、外部からの入力などで予期せぬ情報が入ることでよくない結果になることを未然に防ぐのが目的ですから、状況からするとこのassertはおかしいということになります。
- データ数が30でない可能性が無いのであれば、assertは不要
- データ数が30でない可能性が有るのであれば、 「30より大きい」ではなく「30である」かどうかチェックするようにすればいい。 もし、それでassertエラーがでるのであれば、データがおかしいということになりますね。