Kerasを使ってDeeplearningがしたい エラーが出て困ってます

Question

前提・実現したいこと

Pythonを用いてDeeplearningを行いたいです。
ログを用いて異常検知を行うことを目的に行なっているのですが、エラーが出て前に進めない状況です。
dataには列数が1106,行数が151186ある行列が入っています。
それをX_train, X_test, Y_train, Y_testに分けていきます。
これを実装するとうまくいかずエラーが出てしまう現状です。
■■な機能を実装中に以下のエラーメッセージが発生しました。

発生している問題・エラーメッセージ

エラーメッセージ
Traceback (most recent call last):
  File "lstm_tokutyou.py", line 55, in <module>
    model.add(Dense(n_out, kernel_initializer=weight_variable))
  File "/usr/local/lib/python3.7/site-packages/keras/engine/sequential.py", line 182, in add
    output_tensor = layer(self.outputs[0])
  File "/usr/local/lib/python3.7/site-packages/keras/engine/base_layer.py", line 463, in __call__
    self.build(unpack_singleton(input_shapes))
  File "/usr/local/lib/python3.7/site-packages/keras/layers/core.py", line 895, in build
    constraint=self.kernel_constraint)
  File "/usr/local/lib/python3.7/site-packages/keras/engine/base_layer.py", line 279, in add_weight
    weight = K.variable(initializer(shape, dtype=dtype),
TypeError: weight_variable() got an unexpected keyword argument 'dtype'

該当のソースコード

ソースコード
import csv
import re
import datetime
import time
import numpy as np
import matplotlib.pyplot as plt
from keras.models import Sequential
from keras.layers.core import Dense, Activation
from keras.layers.recurrent import LSTM
from keras.layers.wrappers import Bidirectional
from keras.optimizers import Adam
from keras.callbacks import EarlyStopping
from sklearn import datasets
from sklearn.model_selection import train_test_split
from sklearn.utils import shuffle

data = np.loadtxt("lstm_tokutyou1002.csv",delimiter=",")
X = data[:,:1105]
y = data[:,-1]
Y = np.eye(2)[y.astype(int)]
del y
X_train, X_test, Y_train, Y_test = \
    train_test_split(X, Y, test_size=0.3)

X_train, X_validation, Y_train, Y_validation = \
    train_test_split(X_train, Y_train, test_size=0.2)

'''
モデル設定
'''
n_in = 151186
n_long = 1105
n_hidden = 128
n_out = 10


def weight_variable(shape, name=None):
    return np.random.normal(scale=.01, size=shape)


early_stopping = EarlyStopping(monitor='val_loss', patience=10, verbose=1)

model = Sequential()
model.add(Bidirectional(LSTM(n_hidden),
                        input_shape=(n_long,n_in)))
model.add(Dense(n_out, kernel_initializer=weight_variable))
model.add(Activation('softmax'))

model.compile(loss='categorical_crossentropy',
              optimizer=Adam(lr=0.001, beta_1=0.9, beta_2=0.999),
              metrics=['accuracy'])

'''
モデル学習
'''
epochs = 300
batch_size = 250

hist = model.fit(X_train, Y_train,
                 batch_size=batch_size,
                 epochs=epochs,
                 validation_data=(X_validation, Y_validation),
                 callbacks=[early_stopping])

'''
学習の進み具合
'''
acc = hist.history['val_acc']
loss = hist.history['val_loss']

plt.rc('font', family='serif')
fig = plt.figure()
plt.plot(range(len(loss)), loss,
         label='loss', color='black')
plt.xlabel('epochs')
plt.show()

'''
予測精度の評価
'''
loss_and_metrics = model.evaluate(X_test, Y_test)
print(loss_and_metrics)

試したこと

ネットで調べてもいい回答が見つかりませんでした。

補足情報（FW/ツールのバージョンなど）

機種名: Mac mini
機種ID: Macmini7,1
プロセッサ名: Intel Core i7
プロセッサ速度: 3 GHz

absl-py 0.8.0
astor 0.8.0
chainer 5.1.0
cycler 0.10.0
filelock 3.0.10
gast 0.3.2
google-pasta 0.1.7
grpcio 1.23.0
h5py 2.10.0
Keras 2.3.0
Keras-Applications 1.0.8
Keras-Preprocessing 1.1.0
kiwisolver 1.1.0
Markdown 3.1.1
matplotlib 3.1.1
numpy 1.15.4
pandas 0.23.4
pip 19.1.1
protobuf 3.6.1
pyparsing 2.4.2
python-dateutil 2.7.5
pytz 2018.7
PyYAML 5.1.2
scikit-learn 0.20.1
scipy 1.1.0
setuptools 41.0.1
six 1.12.0
sklearn 0.0
tensorboard 1.14.0
tensorflow 1.14.0
tensorflow-estimator 1.14.0
termcolor 1.1.0
Werkzeug 0.15.6
wheel 0.33.4
wrapt 1.11.2

Comments

[meg_]

コードはインデントが分かるように｢コードの挿入｣で記入してください。

[Dpulex]

申し訳ないです。
修正いたしました。

Answer 1

カスタマイズ
callable なオブジェクトを渡す場合には，初期化しようとする変数の shape と dtype を引数に取るように設計してください．

初期化 - Keras Documentation

ということだそうです。

でも、このケースだとそれほど複雑なことをしていないようなのでそもそもcallableにする意味がなく、keras.initializers.RandomNormalを使えばいいのではないでしょうか。

Comments

[Dpulex]

回答ありがとうございます。
keras.initializers.RandomNormalを利用し、前に進んだのですが
Traceback (most recent call last):
File "lstm_tokutyou.py", line 73, in <module>
callbacks=[early_stopping])
File "//anaconda3/lib/python3.7/site-packages/keras/engine/training.py", line 952, in fit
batch_size=batch_size)
File "//anaconda3/lib/python3.7/site-packages/keras/engine/training.py", line 751, in _standardize_user_data
exception_prefix='input')
File "//anaconda3/lib/python3.7/site-packages/keras/engine/training_utils.py", line 128, in standardize_input_data
'with shape ' + str(data_shape))
ValueError: Error when checking input: expected bidirectional_1_input to have 3 dimensions, but got array with shape (84664, 1105)

というエラーが出てしまいます。次元数が少ないのでしょうか？

[hayataka2049]

別途質問を立てたのであれば、とりあえずこちらは解決済みにしてください。私の知識で回答できるかはわかりませんが、見てみます。