常連

### 前提
現在深層学習を用いてシステム開発を行っています。
言語:python  ライブラリ:keras
https://analytics-note.xyz/machine-learning/reduce-lr-on-plateau/
このサイトを参考に学習率を下げるコードを書いて実行するとエポックが途中で止まった状態で結果を出力してしまいます。
エポックが途中で止まってしまう問題としてどのようなことが考えられるかご存知の方がいればお願いします。
![イメージ説明](https://ddjkaamml8q8x.cloudfront.net/questions/2023-01-17/446f8f8a-6315-4a6c-bf74-a17e0cf51e98.png)


### 該当のソースコード

```python
import os
import numpy as np
from sklearn.model_selection import train_test_split
from sklearn import preprocessing
from matplotlib import pyplot as plt
import tensorflow as tf
from tensorflow.keras.layers import Conv1D,LSTM,Dense,Input
#from tensorflow.keras.models import Model
from tensorflow.keras.models import Sequential
from tensorflow.keras.utils import plot_model
import pandas as pd
from tensorflow.keras.callbacks import ReduceLROnPlateau
#from tensorflow.keras.preprocessing import image
from tensorflow.keras.callbacks import EarlyStopping
#シーケンスに沿ったデータを作成する関数--------------------------------------------------------
def make_dataset():
    for i in range(1,21):
        for j in range(13,21):
            path="E:\\最強データ2_フレーム揃え\\all\\Actor_"+str(i)+"\\LSTM\\合体"+str(j)+".csv"
            df=pd.read_csv(path,index_col=0,header=0)
            df.pop("AU01_r")
            df.pop("AU04_r")
            df.pop("AU07_r")
            df.pop("AU05_r")
            df.pop("AU12_r")
            df.pop("AU15_r")
            df.pop("AU23_r")
            yy=df["AU06_r"]             
            yyy=yy.values.astype(float)
            yyy_seikika=preprocessing.minmax_scale(yyy)
            df.pop("AU06_r")
            
            data = df.values.astype(float)
            ms = preprocessing.MinMaxScaler()
            data_seikika=ms.fit_transform(data)
            
            x.append(data_seikika)
            y.append(yyy_seikika)
    
    return np.array(x), np.array(y)


x=list()
y=list()
x,y= make_dataset()

x_train, x_valid, y_train, y_valid = train_test_split(x, y, test_size = 0.1)

model = Sequential()
model.add( tf.keras.layers.Input(shape=(111,129)))
model.add( tf.keras.layers.LSTM(129, return_sequences=True))

model.add(Conv1D(111, 16, padding='same', input_shape=(111, 129), activation='relu'))
model.add(Conv1D(111, 16, padding='same', activation='relu'))
model.add(Conv1D(32, 16, padding='same', activation='relu'))
model.add(Conv1D(1, 16, padding='same', activation='tanh'))

model.add( tf.keras.layers.Dense(100, activation='linear') ) 
model.add( tf.keras.layers.Dense(80, activation='linear') )
model.add( tf.keras.layers.Dense(50, activation='linear') ) 
model.add( tf.keras.layers.Dense(30, activation='linear') ) 
model.add( tf.keras.layers.Dense(20, activation='linear') ) 
model.add( tf.keras.layers.Dense(10, activation='linear') ) 
model.add( tf.keras.layers.Dense(1, activation='linear') ) 

plot_model(model, to_file='model_conv&dense.png', show_shapes=True)
          
          
adam=tf.keras.optimizers.Adam(lr=0.01)
early_stopping = EarlyStopping(
                        monitor='val_loss',
                        min_delta=0.0,
                        patience=10,
                )

# val_lossの改善が2エポック見られなかったら、学習率を0.5倍する。
reduce_lr = ReduceLROnPlateau(
                        monitor='val_loss',
                        factor=0.5,
                        patience=2,
                        min_lr=0.0001
            )


model.compile(
    optimizer = adam,#最適化アルゴリズム
    loss = "mse",#損失関数
    metrics = ["mae"]#評価関数
)

plot_model(model)
history=model.fit(
    x_train, y_train,
    epochs = 512,
    batch_size = 32,
    verbose=2,
    validation_data = (x_valid, y_valid),
    callbacks=[early_stopping, reduce_lr]
)

pred = model.predict(x_valid)


t=list()
for i in range(1,112):
    t.append(i)


plt.plot(history.history['loss']) # 訓練データの値 
plt.plot(history.history['val_loss']) # テストデータの値 
plt.title('Model loss') # グラフのタイトル 
plt.ylabel('Loss') # グラフのY軸ラベル 
plt.xlabel('Epoch') # グラフのX軸ラベル 
plt.legend(['Train', 'Test'], loc='upper left') # 凡例の表示
plt.show() # グラフを表示する



for i in range(0,12):
    fig_size = plt.rcParams['figure.figsize']#グラフのサイズを決める変数
    fig_size[0] = 5
    fig_size[1] = 5
    plt.rcParams['figure.figsize'] = fig_size

    plt.title('Number of AU06')#グラフタイトル
    plt.ylabel('AU06')#y軸の値
    plt.grid(True)#グラフにグリッド線を引く
    plt.autoscale(axis='x', tight=True)#グラフの自動スケーリング
    
    plt.plot(t,y_valid[i],label='jissokuti')#実測値の値を持ってくる
    plt.plot(t, pred[i], label = "predict")#予測値の値を持ってくる
    plt.legend()#凡例を表示してくれる
    plt.show()

```




学習率を下げるコードを導入するとエポックが途中で停止してしまう

### 実現したいこと
https://github.com/crmaximo/VAEGAN/blob/master/VAEGAN.py
のコードを動かそうとしています。


githubのVAEGANコードをtensorflow.kerasに変えて動かしてみようとしています。

```
AttributeError: 'KerasTensor' object has no attribute 'train_on_batch'
```

### 該当のソースコード

```python3.9.7, tensorflow2.11.0, keras 2.11.0

def discriminator(kernel, filter, rows, columns, channel):
    X = Input(shape=(rows, columns, channel))

    model = Conv2D(filters=filter*2, kernel_size=kernel, strides=2, padding='same')(X)
    model = LeakyReLU(alpha=0.2)(model)
    model = Conv2D(filters=filter*4, kernel_size=kernel, strides=2, padding='same')(model)
    model = BatchNormalization(epsilon=1e-5)(model)
    model = LeakyReLU(alpha=0.2)(model)
    model = Conv2D(filters=filter*8, kernel_size=kernel, strides=2, padding='same')(model)
    model = BatchNormalization(epsilon=1e-5)(model)
    model = LeakyReLU(alpha=0.2)(model)
    model = Conv2D(filters=filter*8, kernel_size=kernel, strides=2, padding='same')(model)

    dec = BatchNormalization(epsilon=1e-5)(model)
    dec = LeakyReLU(alpha=0.2)(dec)    
    dec = Flatten()(dec)
    dec = Dense(1, activation='sigmoid')(dec)

    output = keras.Model([X], [dec, model])
    return output

dataset.shape=(2000,64,64,3)
rows = 64
columns = 64
channel = 3
X = Input(shape=(rows, columns, channel))

D = discriminator(5, 32, rows, columns, channel)
D.compile(optimizer=SGDop, loss='mse')
D_true, F_true = D(X)

DlossTrue = D_true.train_on_batch(dataset, np.ones((batch_size, 1)))
```

 D_trueがModelになっていないのでtrain_on_batchできないのでしょうか？


AttributeError: 'KerasTensor' object has no attribute 'train_on_batch'

ここに実現したいことを箇条書きで書いてください。
タイトルの通り、学習モデルの重みを取り出したいです。

### 前提
複数の学習モデルの重みの平均を取り、１つのモデルにしたいと考えています。
なお、言語はpythonを使用しています。
### 発生している問題・エラーメッセージ
モデルを保存する際以下の形式のファイルが保存されます。
・checkpoint
・data-00000-of-oooo1
・index
・meta

しかし、この中のどこに重みが保存されているのか、またどのように呼び出せば良いのかが分からない状態です。

### 該当のソースコード

    def train(self):
        total_step = self.train_inputs.shape[0] * FLAGS.num_epoch // FLAGS.batch_size
        print(self.train_inputs.shape[0])
        print('total step is %d' % total_step)
        config = tf.compat.v1.ConfigProto()
        config.gpu_options.allow_growth = True #メモリを必要分確保
        min_validation_loss = 10
        best_epoch = 0
        with tf.compat.v1.Session(config=config) as sess:
            
            sess.run(tf.global_variables_initializer()) #変数の初期化
            if FLAGS.restore == True:
                self.saver.restore(sess, self.save_path)

            for step in range(total_step):
                print(step)
                sample = random.sample(range(self.train_inputs.shape[0]), FLAGS.batch_size) #入力から、バッチサイズ分の要素をランダムに取り出す
                train_batch = self.train_inputs[sample]
                train_label = self.train_labels[sample]
                sess.run(self.optimizer, feed_dict={self.signal_input: train_batch, self.signal_label: train_label, #学習の実行
                                                    self.rnn_keep_prob: FLAGS.rnn_keep_prob, self.dense_drop_rate: FLAGS.drop_rate})
                
                if step % 100 == 0:
                    # print('-----------------------------------------------------------')
                    train_loss = sess.run(self.loss,
                                          feed_dict={self.signal_input: train_batch, self.signal_label: train_label,
                                                     self.rnn_keep_prob: FLAGS.rnn_keep_prob, self.dense_drop_rate: 0})
                    fft_train_loss = sess.run(self.fft_loss,
                                              feed_dict={self.signal_input: train_batch,
                                                         self.signal_label: train_label,
                                                         self.rnn_keep_prob: FLAGS.rnn_keep_prob, self.dense_drop_rate: 0})
                    valid_loss = sess.run(self.loss, feed_dict={self.signal_input: self.valid_inputs,
                                                                self.signal_label: self.valid_labels,
                                                                self.rnn_keep_prob: 1,
                                                                self.dense_drop_rate: 0})
                    fft_valid_loss = sess.run(self.fft_loss, feed_dict={self.signal_input: self.valid_inputs,
                                                                        self.signal_label: self.valid_labels,
                                                                        self.rnn_keep_prob: 1,
                                                                        self.dense_drop_rate: 0})


                    print('current step is %d' % step)
                    num_epoch = step * FLAGS.batch_size // self.train_inputs.shape[0]
                    print('current epoch is %d' % (num_epoch))
                    print('')
                    print('train loss is: %f' % train_loss)
                    print('fft train loss is: %f' % fft_train_loss)
                    print('sum_train loss is: %f' % (train_loss + fft_train_loss))
                    print('')
                    print('valid loss is: %f' % valid_loss)
                    print('fft valid loss is: %f' % fft_valid_loss)
                    print('sum_valid real loss is: %f' % (valid_loss + fft_valid_loss))

                    print('minimum valid loss is: {0:0.4f} in epoch {1}'.format(min_validation_loss, best_epoch))

                    if valid_loss < min_validation_loss:
                        best_epoch = num_epoch
                        min_validation_loss = valid_loss
                        self.saver.save(sess, self.save_path)
                        print(self.save_path)
                     
                        print('best model saved!!')

                
                
            

      
       

   
    
       


### 試したこと

色々調べてみたのですが、他の方のやり方では、コードを一から書き直す必要があるように見えたので、少し自分には難易度が高く、打つ手がありません…

### 補足情報（FW/ツールのバージョンなど）
私自身機械学習に関して初心者なのと、今回初めてteratailを使用したため、かなり分かりにくい質問内容になっているかと思いますが、ご回答いただけますと幸いです。



学習モデルの重みを取り出したい

畳み込みニューラルネットワークのconvolutionレイヤについての質問です。
機械学習は勉強し始めたばかりで、すでに完成しているニューラルネットワークのコードを使っているのですが、入力データにかけるフィルターの数は基本的に平方数か2の冪乗(16,32,64あたり)になってます。2の冪乗以外の数字でも一応学習はできたのですが、2の冪乗がデフォルトなのはなぜですか？

convolutionレイヤの、入力データにかけるフィルターの数はなぜ2の冪乗なんですか？

## テーマ、知りたいこと

Pytorchで書かれた深層学習のコードがネット上で多く見られますが、
Kerasで実行できるように書き換えるにはどのように調べるとよいでしょうか。

## 背景、状況

私自身何とかKerasでSRCNNなどの超解像を実行しています。
Keras自体も今年度始めたばかりの初学者で、
ネットに頼りながら日々格闘しています。
ご意見をお聞かせください。
よろしくお願いいたします。


Pytorchで書かれたコードをKerasに書き直したい

### 実現したいこと

健常者（normal）と障害者（abnormal）のそれぞれかmediapipeで得られたデータを学習させ，分類していない未知のデータを読み込み，正常か異常の判定を行う分類モデルを作成したいです。

### 前提

ps_aux_grep様が記載しているコード（[リンク内容](https://teratail.com/questions/o13079o3ntq3lc)）を参考に，私が所持しているデータで試したところ，下記のようなエラーメッセージが生じ，解決方法がわからない状況です…どこをどのように修正すればよろしいでしょうか。

**所持しているデータ（normalデータ１例）**
列名は全て同じですが（89列），行数はデータによって異なります（測定時間が異なる）。
|idx|pelvis.x|pelvis.y|pelvis.z|left_hip.x|left_hip.y|left_hip.z|…|right_heel.y|right_heel.z|
|:--:|:--:|:--:|:--:|:--:|:--:|:--:|:--:|:--:|:--:|
|0|-1437.3|-1.9|1591.|-1357.5|81.1|1592.4|…|-359.8|1133.0|
|1|-1429.4|-9.1|1590.7|-1357.5|77.4|1592.1|…|-300.3|1128.2|
|2|-1420.2|-68.3|1575.7|-1348.4|19.0|1578.6|…|-347.0|1102.4|
|…|…|…|…|…|…|…|…|…|…|
|890|-1464.9|-210.8|1552.9|-100.1|1566.6|-1495.7|…|-393.1|1043.5|

### 発生している問題・エラーメッセージ

```
Input 0 of layer "conv1d" is incompatible with the layer: expected min_ndim=3, found ndim=1. Full shape received: (None,)
```

### 該当のソースコード

```python
import numpy as np
from glob import glob
import csv
import os
from sklearn.preprocessing import StandardScaler

def load_csv(file, y_value): # ファイル名fileのCSV読み込み，1データを複数に分割する
    # pandas.read_csv()を使わないで書いてみる
    _x = list() # 1ファイルのデータすべて_xに格納する
    with open(file, "r") as f:
        reader = csv.reader(f)
        header = next(reader) # ヘッダは読み飛ばし
        for row in reader:
            _x.append([float(col) for col in row[8:25]])
    
    # データ分割部
    _x =  np.array(_x)
    roll = 215
    x, y = list(), list()
    for r in range(len(_x) - roll): # 2割のデータ長さだけデータが作られる．
        x.append(StandardScaler().fit_transform(_x[r: r + roll].reshape(-1, 1)).reshape(_x[r: r + roll].shape))
        y.append([y_value])
    return np.array(x), np.array(y)

def load_data(): # 全データ読み込み
    split = 20 # 最初の20ファイルは検証用データにする
    x_train, y_train, x_valid, y_valid = list(), list(), list(), list()
    for name, v in zip(["mormal", "abnormal"], [0, 1]):
        for i, file in enumerate(glob(f"/content/drive/MyDrive/data/{name}/*.csv")):
            print(file)
            _x, _y = load_csv(file, v)
            if i < split:
                x_valid.extend(_x)
                y_valid.extend(_y)
            else:
                x_train.extend(_x)
                y_train.extend(_y)

    return map(np.array, [x_train, y_train, x_valid, y_valid])

x_train, y_train, x_valid, y_valid = load_data()
print(x_train.shape)

import tensorflow as tf
from tensorflow.python import keras
from keras.models import Sequential
from keras.layers import Conv1D, Input, Flatten, Dense, AveragePooling1D, GlobalAveragePooling1D
from keras.optimizers import Adam

from sklearn.metrics import confusion_matrix, ConfusionMatrixDisplay
from sklearn.metrics import confusion_matrix
from sklearn.metrics import accuracy_score
from sklearn.metrics import precision_score
from sklearn.metrics import recall_score
from sklearn.metrics import f1_score

# 学習モデルを作成
model = Sequential()
model.add(Input(shape = x_train.shape[1:]))
model.add(Conv1D(64, 8, activation = "swish", kernel_initializer = "he_uniform"))
model.add(AveragePooling1D())
model.add(Conv1D(128, 4, activation = "swish", kernel_initializer = "he_uniform"))
model.add(AveragePooling1D())
model.add(Conv1D(256, 3, activation = "swish", kernel_initializer = "he_uniform"))
model.add(GlobalAveragePooling1D())
model.add(Dense(1, activation = "sigmoid"))

model.compile(
    loss = "binary_crossentropy",
    optimizer = Adam()
)
model.summary() # モデル確認用

# 学習モデルにデータを与えて学習させる
model.fit(
    x_train, y_train,
    batch_size = 8,
    epochs = 50,
    class_weight = {0: 4, 1: 1},
    validation_data = (x_valid, y_valid)
)

# テストデータを与えて各データの種類を推測
# 0から1の 範囲 で得られるのでroundで 四捨五入して0か1にする
y_pred = np.round(model.predict(x_valid, batch_size = 8))

#混同行列
tn, fp, fn, tp = confusion_matrix(y_valid, y_pred).ravel() #混同行列のそれぞれの結果を取得
print("TN", tn)
print("FP", fp)
print("FN", fn)
print("TP", tp)

#正解率(Accuracy)
score = accuracy_score(y_valid, y_pred)
print(f"正解率：{score * 100}%")

#適合率（Precision）
print('Precision:', precision_score(y_valid,y_pred))

#再現率（Recall）
print('Recall:', recall_score(y_valid,y_pred))

#F値（F-measure）
print('F1 score:', f1_score(y_valid,y_pred))
print("Classification report")
```

時系列データを二値分類（一次元畳み込み）

### 前提・実現したいこと
ネットにあるチュートリアルを試してみるところですが，
いきなりimportでエラーになります

環境は次のとおりです
windows10（64bit）
anaconda 5.3.1 
python　3.7
TensorFlow　1.11（keras内蔵）
Jupyter Notebookを利用

【コマンド】＞＞＞＞＞
import tensorflow
from tensorflow import keras
from keras.layers import Input, Dense
＜＜＜＜

【エラー】＞＞＞＞＞
ModuleNotFoundError                       Traceback (most recent call last)
<ipython-input-19-d63db0619a81> in <module>
      1 import tensorflow
      2 from tensorflow import keras
----> 3 from keras.layers import Input, Dense

ModuleNotFoundError: No module named 'keras'
＜＜＜＜＜

kerasモジュールがないとのことですが，
2行目でインポートされないのでしょうか？

ちなみに，
【コマンド】＞＞＞＞＞
import tensorflow
from tensorflow import keras
from **tensorflow.**keras.layers import Input, Dense
＜＜＜＜＜

とするとエラーが出ません
keras内蔵のTensorFlowを使用しているからでしょうか？

また
import keras
としても
kerasモジュールがないとエラーが出ます

すいませんが，
どなたかご教授頂けると幸いです
よろしくお願いします

### 発生している問題・エラーメッセージ

```
エラーメッセージ
```

### 該当のソースコード

```ここに言語名を入力
ソースコード
```

### 試したこと

ここに問題に対して試したことを記載してください。

### 補足情報（FW/ツールのバージョンなど）
環境は次のとおりです
windows10（64bit）
anaconda 5.3.1 
python　3.7
TensorFlow　1.11（keras内蔵）
Jupyter Notebookを利用

kerasからのインポートでエラーになる

anaconda3、jupyternotebookで実装


ソースコード
```

import tensorflow as tf
import numpy as np
import matplotlib.pyplot as plt
import csv

from __future__ import print_function
from keras.layers.core import Activation
from keras.layers.core import Dense
from keras.layers.core import Dropout
from keras.models import Sequential
from keras.utils import np_utils
from keras.utils import plot_model

from keras.layers.recurrent import LSTM
from keras.callbacks import EarlyStopping
from keras.initializers import glorot_uniform
from keras.initializers import orthogonal
from keras.initializers import TruncatedNormal

# 学習データ
df1 = csv.reader(open('x-data.csv', 'r'))
data1 = [ v for v in df1]
mat = np.array(data1)
mat2 = mat[1:]                        # 見出し行を外す
x_data = mat2[:, 1:].astype(np.float)  # 2列目以降を抜き出してfloat変換
print('x_data.shape=', x_data.shape)

# ラベルデータ
# 1％以上／0％以上／-1％以上／-1％未満
df2 = csv.reader(open('t-data.csv', 'r'))
data2 = [ v for v in df2]
mat3 = np.array(data2)
mat4 = mat3[1:]                       # 見出し行を外す
t_data = mat4[:, 1:].astype(np.float)  # 2列目以降を抜き出してfloat変換
print('t_data.shape=', t_data.shape)
```

##エラー箇所

ここでfloat変換にしよとした所
```
t_data = mat4[:, 1:].astype(np.float)  # 2列目以降を抜き出してfloat変換
```

```エラー文
IndexError                                Traceback (most recent call last)
<ipython-input-47-b6ba00859e68> in <module>
----> 1 t_data = mat4[:, 1:].astype(np.float)# 2列目以降を抜き出してfloat変換

IndexError: too many indices for array

```

学習データx-data.csv 、ラベルデータt-data.csvは見出し行、日付列を外して、データを行列に展開。
学習データは(n-2,1)次行列、ラベルデータは(n-2,4)次行列　　　です。


##x-data.csv(開いたデータの中身)
```
Date,Data
1965/1/5,
1965/1/6,-0.497284146
1965/1/7,-0.810010493
1965/1/8,-0.949750073
1965/1/12,-0.16388427
1965/1/13,0.534587535
1965/1/14,-0.609059694
1965/1/18,1.391564293
1965/1/19,0.105434899
1965/1/20,0.114992886
1965/1/21,-0.124438336
1965/1/22,0.681599556
1965/1/25,0.964351034
1965/1/26,0.133713051
1965/1/27,-0.810767248
1965/1/28,0.878904551
1965/1/29,0.396063218
1965/2/1,-0.045063459
1965/2/2,0.328819522
1965/2/3,-0.746352469
.
.
.
```


##t-data.csv(開いたデータの中身)
```
Date,1％以上,0％以上,-1％以上,-1％未満
1965/1/5,,,,
1965/1/6,0,0,1,0
1965/1/7,0,0,1,0
1965/1/8,0,0,1,0
1965/1/12,0,0,1,0
1965/1/13,0,1,0,0
1965/1/14,0,0,1,0
1965/1/18,1,0,0,0
1965/1/19,0,1,0,0
1965/1/20,0,1,0,0
1965/1/21,0,0,1,0
1965/1/22,0,1,0,0
1965/1/25,0,1,0,0
1965/1/26,0,1,0,0
1965/1/27,0,0,1,0
1965/1/28,0,1,0,0
1965/1/29,0,1,0,0
1965/2/1,0,0,1,0
1965/2/2,0,1,0,0
1965/2/3,0,0,1,0
1965/2/4,0,0,0,1
1965/2/5,0,0,1,0
1965/2/8,0,1,0,0
1965/2/9,0,1,0,0
1965/2/10,0,1,0,0
.
.
.
.
.
.
```