Kerasで文章生成を行う際のメモリーエラーを回避したい

Question

前提・実現したいこと

KerasでLSTMを使い日本語文の生成を行いたいと考えています。
コードはKerasのサンプルコードを流用し、学習データに13万字程度の分かち書きをした日本語文章を使用します。
とりあえずメモリーエラーを回避して1回動かしたいので、解決策を知りたいです。

発生している問題・エラーメッセージ

  File "Sample.py", line 53, in <module>
    x = np.zeros((len(sentences), maxlen, len(chars)), dtype=np.bool)
MemoryError

該当のソースコード

# -*- coding: utf-8 -*-
'''Example script to generate text from Nietzsche's writings.
At least 20 epochs are required before the generated text
starts sounding coherent.
It is recommended to run this script on GPU, as recurrent
networks are quite computationally intensive.
If you try this script on new data, make sure your corpus
has at least ~100k characters. ~1M is better.
'''

from __future__ import print_function
from keras.callbacks import LambdaCallback
from keras.models import Sequential
from keras.layers import Dense
from keras.layers import LSTM
from keras.optimizers import RMSprop
from keras.utils.data_utils import get_file
import numpy as np
import random
import sys
import io

with io.open('Text.txt', 'r', encoding='utf-8') as f:
    text = f.read()
print('corpus length:', len(text))


chars = sorted(list(set(text)))
print('total chars:', len(chars))
char_indices = dict((c, i) for i, c in enumerate(chars))
indices_char = dict((i, c) for i, c in enumerate(chars))

# cut the text in semi-redundant sequences of maxlen characters
maxlen = 40
step = 3
sentences = []
next_chars = []
for i in range(0, len(text) - maxlen, step):
    sentences.append(text[i: i + maxlen])
    next_chars.append(text[i + maxlen])
print('nb sequences:', len(sentences))

print('Vectorization...')
x = np.zeros((len(sentences), maxlen, len(chars)), dtype=np.bool)
y = np.zeros((len(sentences), len(chars)), dtype=np.bool)
for i, sentence in enumerate(sentences):
    for t, char in enumerate(sentence):
        x[i, t, char_indices[char]] = 1
    y[i, char_indices[next_chars[i]]] = 1


# build the model: a single LSTM
print('Build model...')
model = Sequential()
model.add(LSTM(128, input_shape=(maxlen, len(chars))))
model.add(Dense(len(chars), activation='softmax'))

optimizer = RMSprop(lr=0.01)
model.compile(loss='categorical_crossentropy', optimizer=optimizer)


def sample(preds, temperature=1.0):
    # helper function to sample an index from a probability array
    preds = np.asarray(preds).astype('float64')
    preds = np.log(preds) / temperature
    exp_preds = np.exp(preds)
    preds = exp_preds / np.sum(exp_preds)
    probas = np.random.multinomial(1, preds, 1)
    return np.argmax(probas)


def on_epoch_end(epoch, _):
    # Function invoked at end of each epoch. Prints generated text.
    print()
    print('----- Generating text after Epoch: %d' % epoch)

    start_index = random.randint(0, len(text) - maxlen - 1)
    for diversity in [0.2, 0.5, 1.0, 1.2]:
        print('----- diversity:', diversity)

        generated = ''
        sentence = text[start_index: start_index + maxlen]
        generated += sentence
        print('----- Generating with seed: "' + sentence + '"')
        sys.stdout.write(generated)

        for i in range(400):
            x_pred = np.zeros((1, maxlen, len(chars)))
            for t, char in enumerate(sentence):
                x_pred[0, t, char_indices[char]] = 1.

            preds = model.predict(x_pred, verbose=0)[0]
            next_index = sample(preds, diversity)
            next_char = indices_char[next_index]

            generated += next_char
            sentence = sentence[1:] + next_char

            sys.stdout.write(next_char)
            sys.stdout.flush()
        print()

print_callback = LambdaCallback(on_epoch_end=on_epoch_end)

model.fit(x, y,
          batch_size=128,
          epochs=60,
callbacks=[print_callback])

環境

Python 3.6.6
Anaconda 4.5.11
Windows 8.1
GPU版TensorFlow

Answer 1

該当の文の前で

print(len(sentences), maxlen, len(chars))

とかして、自分がいったいどのぐらいの大きさの配列を作ろうとしているのか確認しましたか?

np.zeros((len(sentences), maxlen, len(chars)), dtype=np.bool)

した時にそれがどのぐらいの大きさの配列になりそうなのか、考えましたか?

Comments

[nuii_]

配列が大きくなりすぎてしまうので学習データの見直しをしようと思います。
回答ありがとうございました。

Answer 2

np.zeros((len(sentences), maxlen, len(chars)), dtype=np.bool)のshapeが半端じゃなく大きいのかと。

日本語は英語（翻訳版みたいですね）と違って文字の種類が何万もありますから、そのまま動かすのは厳しいはずです。

とりあえずメモリーエラーを回避して1回動かしたい

英語のデータを使ってください。元のコードをそのまま動かすのが確実です。

それでも動かなければ、根本的にこういうことをするのにはスペックの低すぎるマシンを使っている可能性があります（必要メモリ量は確認していませんが）。

Comments

[nuii_]

元コードでの実行を試したところ問題なく動いたため、学習データの見直しなどを行いたいと思います。
回答ありがとうございました。