🎄teratailクリスマスプレゼントキャンペーン2024🎄』開催中!

\teratail特別グッズやAmazonギフトカード最大2,000円分が当たる!/

詳細はこちら
Keras

Kerasは、TheanoやTensorFlow/CNTK対応のラッパーライブラリです。DeepLearningの数学的部分を短いコードでネットワークとして表現することが可能。DeepLearningの最新手法を迅速に試すことができます。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

Q&A

解決済

1回答

1773閲覧

fitとfit_generatorでの入力層の違い

taro_yamada

総合スコア55

Keras

Kerasは、TheanoやTensorFlow/CNTK対応のラッパーライブラリです。DeepLearningの数学的部分を短いコードでネットワークとして表現することが可能。DeepLearningの最新手法を迅速に試すことができます。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

0グッド

0クリップ

投稿2021/01/11 14:39

kerasを使ってニューラルネットワークの学習を行っています。
当初DBから大きなデータを吐き出して、fitで学習していたのですが、大きくなりすぎたのでfit_generatorを使って小分けしたcsvを順次読み込ませるようにしました。
最初、Fitで実行していたときはコメントアウトしてあるFlatten()でうまく動いていたのですが、fit_generatorを使い始めたところ、
①元々fitの時に使っていたFlatten()では学習したモデルを読み込むときに下のようなerrorが出たため、
②Flatten(input_shape=(1, 22))に変えてみたところ、(52841, 22)のtraindataを読み込ませる際にmodel.fit_generatorで以下のwarningが出るようになってしまいました。

fitからfit_generatorに変えてaccuracyも落ちてしまったような気がします。
色々と間違っているような気もするのですが、そもそも、fit_generatorよりも新しいFITを使うようにwarningも出ますし、fit_generatorは避けるべきでしょうか?

<error>
ValueError: The last dimension of the inputs to Dense should be defined. Found None.

<warning>
WARNING:tensorflow:Model was constructed with shape (None, 1, 22) for input Tensor("flatten_input:0", shape=(None, 1, 22), dtype=float32), but it was called on an input with incompatible shape (None, None).

def generate_batches(files, batch_size): counter = 0 while True: fname = files[counter] counter = (counter + 1) % len(files) with open('./output/save_batches/' + fname, 'r', encoding="utf-8_sig") as csv_file: reader = csv.reader(csv_file, delimiter=",", quotechar='"') csv_data = [row for row in reader] train_data = np.asarray(csv_data) train_data = train_data[1:] [X_train, y_train] = np.hsplit(train_data, [-1]) [X_train, x_gavage] = np.hsplit(X_train, [-10]) X_train = X_train.astype(np.float64) y_train = y_train.astype(np.int) for cbatch in range(0, X_train.shape[0], batch_size): yield (X_train[cbatch:(cbatch + batch_size), :], y_train[cbatch:(cbatch + batch_size)]) model = keras.models.Sequential([ keras.layers.Flatten(input_shape=(1, 22)), #keras.layers.Flatten(), # fitで実行していたときはこれでうまく動いていた keras.layers.Dense(hidden_num, activation=hidden_acti), keras.layers.Dropout(0.2), keras.layers.Dense(out_layer, activation=out_acti) ]) gen = generate_batches(files=file_list, batch_size=batches) history = model.fit_generator(gen, steps_per_epoch=all_len/batches, epochs=epoch, verbose=1)

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

guest

回答1

0

自己解決

keras.layers.Flatten(input_shape=(22,))
にしたところ動きました。

投稿2021/01/13 11:23

taro_yamada

総合スコア55

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.36%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問