Kerasを用いた文章生成プログラムが思った通りの動作をしない

Question

前提・実現したいこと

Kerasのサンプルコード(リンク内容)を参考にしながら漢詩を単語単位で自動生成するプログラムを作っているのですが、それを実行してもサンプルコードを実行したときと同じような動作をしません。

どのようにすればサンプルコードと同様の動作をするようになるでしょうか？詳しく教えていただきたいです。

ちなみに、ソースコード上で読み込んでいる、“quantangshi_data.txt”には以下のように合計１０万字程度の漢詩のデータが入っています

暧暧去尘昏灞岸飞飞轻盖指河梁云峰衣结千重叶雪岫花开几树妆深悲黄鹤孤舟远独叹青山别路长聊将分袂沾巾泪还用持添离席觞神皋福地...

発生している問題・エラーメッセージ

実行すると以下のように表示されます。（あまりにも長いので途中で省略しています）

Using TensorFlow backend.
データ単語数: 15000
データセット総数: 14997
ベクトルに変換...
モデルの作成...
Epoch 1/3
2019-01-06 15:51:36.297132: I tensorflow/core/platform/cpu_feature_guard.cc:141] Your CPU supports instructions that this TensorFlow binary was not compiled to use: AVX2
2019-01-06 15:51:37.137953: I tensorflow/core/common_runtime/gpu/gpu_device.cc:1432] Found device 0 with properties:
name: GeForce GTX 960M major: 5 minor: 0 memoryClockRate(GHz): 1.176
pciBusID: 0000:01:00.0
totalMemory: 2.00GiB freeMemory: 1.64GiB
2019-01-06 15:51:37.143904: I tensorflow/core/common_runtime/gpu/gpu_device.cc:1511] Adding visible gpu devices: 0
2019-01-06 15:51:38.316119: I tensorflow/core/common_runtime/gpu/gpu_device.cc:982] Device interconnect StreamExecutor with strength 1 edge matrix:
2019-01-06 15:51:38.319944: I tensorflow/core/common_runtime/gpu/gpu_device.cc:988]      0
2019-01-06 15:51:38.321841: I tensorflow/core/common_runtime/gpu/gpu_device.cc:1001] 0:   N
2019-01-06 15:51:38.323895: I tensorflow/core/common_runtime/gpu/gpu_device.cc:1115] Created TensorFlow device (/job:localhost/replica:0/task:0/device:GPU:0 with 1394 MB memory) -> physical GPU (device: 0, name: GeForce GTX 960M, pci bus id: 0000:01:00.0, compute capability: 5.0)
  128/14997 [..............................] - ETA: 8:27 - loss: 9.6157
----- 生成時までに完了したEpoch数: 0
----- diversity: 0.2
----- 最初の句または単語:"照雪下玉关虏箭"
照雪下玉关虏箭白帝浪淘暖风徐籍中谁人会电跃天上桥北莫谩烟波侧空房薄暮
----- diversity: 0.5
----- 最初の句または単語:"照雪下玉关虏箭"
照雪下玉关虏箭白纻霜气今如此景福两不见和烟娇波发薄昔为绣被掩袖童稚
  256/14997 [..............................] - ETA: 4:36 - loss: 9.6155
----- 生成時までに完了したEpoch数: 1
----- diversity: 0.2
----- 最初の句または単語:"不少钱能骑骏马"
不少钱能骑骏马衔石遗星辰腰间子卿回朱轮衔红巾迁客襄王潮水白虬行人将开
----- diversity: 0.5
----- 最初の句または単語:"不少钱能骑骏马"
不少钱能骑骏马一身忆昔作天地此时箫竽衫袖一自角弓古人怨胡天燕雁协奏
C:\Users\ユーザー名\AppData\Local\conda\conda\envs\tensorflow_gpu\lib\site-packages\keras\callbacks.py:122: UserWarning: Method on_batch_end() is slow compared to the batch update (0.272442). Check your callbacks.
  % delta_t_median)
  384/14997 [..............................] - ETA: 3:15 - loss: 9.6158
----- 生成時までに完了したEpoch数: 2
----- diversity: 0.2
----- 最初の句または単語:"青蛾尚未衰莫道"
青蛾尚未衰莫道忆蛾眉十二年坐北堂学画眉不意少知音无所忧多下泪女儿六月寒似中万涂侵
----- diversity: 0.5
----- 最初の句または単語:"青蛾尚未衰莫道"
青蛾尚未衰莫道王母制北胡挝鼓须臾留腾兮在上为人子饮一杯生红纬柳叶月明刘白
C:\Users\ユーザー名\AppData\Local\conda\conda\envs\tensorflow_gpu\lib\site-packages\keras\callbacks.py:122: UserWarning: Method on_batch_end() is slow compared to the batch update (0.223871). Check your callbacks.
  % delta_t_median)
  512/14997 [>.............................] - ETA: 2:35 - loss: 9.6152
----- 生成時までに完了したEpoch数: 3
----- diversity: 0.2
----- 最初の句または単語:"钟鼓馔玉不足贵"
钟鼓馔玉不足贵游人漾春色白日服药走红鸣珂心里是时银汉低圣德远幼妹梅香
----- diversity: 0.5
----- 最初の句または単語:"钟鼓馔玉不足贵"
钟鼓馔玉不足贵春光少在人间颜色秋壁花骢独能久共笑滩急决汉红英长日冲风
C:\Users\ユーザー名\AppData\Local\conda\conda\envs\tensorflow_gpu\lib\site-packages\keras\callbacks.py:122: UserWarning: Method on_batch_end() is slow compared to the batch update (0.224871). Check your callbacks.
  % delta_t_median)

///（同様のものが何度も繰り返される）///

----- 生成時までに完了したEpoch数: 117
----- diversity: 0.2
----- 最初の句または単語:"牧马胡雏小日暮"
牧马胡雏小日暮千里千里当时杨柳当时年年将军年年少年年年年年长安
----- diversity: 0.5
----- 最初の句または単語:"牧马胡雏小日暮"
牧马胡雏小日暮千里千里芙蓉柳带杨柳生前千里凤凰少妇盛银罂谁数天子
C:\Users\ユーザー名\AppData\Local\conda\conda\envs\tensorflow_gpu\lib\site-packages\keras\callbacks.py:122: UserWarning: Method on_batch_end() is slow compared to the batch update (0.236926). Check your callbacks.
  % delta_t_median)
14997/14997 [==============================] - 41s 3ms/step - loss: 8.7363

該当のソースコード（Anaconda上で実行）

Epoch数についてですが、動作の確認のために3に設定しています。

# coding: utf-8
from keras.callbacks import LambdaCallback
from keras.models import Sequential
from keras.layers import Dense, LSTM
from keras.optimizers import RMSprop
import numpy as np
import random
import sys
import io
import gc
import os
 

x_exists = os.path.exists('./x')
y_exists = os.path.exists('./y')
if x_exists == True and y_exists == True:
    os.remove('./x')
    os.remove('./y')


# データの読み込み
Path = './quantangshi_data.txt'
with io.open(Path, 'r', encoding='utf-8') as f:
    text = f.read()
    chars = 35000
    rawtext = text[0:chars]


# データを2文字、２文字、３文字に分割
text = []
start = 0
end = 0
count = 1
while end <= len(rawtext):
    if count % 3 != 0:
        end += 2
        text.append(rawtext[start:end])
        start += 2
        count += 1
    else:
        end += 3
        text.append(rawtext[start:end])
        start += 3
        count += 1
text.pop()
print('データ単語数:', len(text))


del rawtext, Path
gc.collect()


words = text
word_indices = dict((w, i) for i, w in enumerate(words))    # 単語辞書を作成
indices_word = dict((i, w) for i, w in enumerate(words))    # 逆引き辞書を作成


# データセットの作成
maxlen = 3
step = 1
sentences = []
next_words = []
for i in range(0, len(text) - maxlen, step):
    sentences.append(text[i: i + maxlen])
    next_words.append(text[i + maxlen])
print('データセット総数:', len(sentences))


# ワンホット表現に変換
print('ベクトルに変換...')
mode = 'w+'
x = np.memmap('x', dtype=np.bool, mode=mode, shape=(len(sentences), maxlen, len(words)))
y = np.memmap('y', dtype=np.bool, mode=mode, shape=(len(sentences), len(words)))
for i, sentence in enumerate(sentences):
    for t, word in enumerate(sentence):
        x[i, t, word_indices[word]] = 1
    y[i, word_indices[next_words[i]]] = 1


# モデルの作成
print('モデルの作成...')
model = Sequential()
model.add(LSTM(128, input_shape=(maxlen, len(words))))
model.add(Dense(len(words), activation='softmax'))

optimizier = RMSprop(lr=0.01)
model.compile(loss='categorical_crossentropy', optimizer=optimizier)


# 各単語の出現確率の配列から、出力する単語を選んでインデックスを返す関数
def sample(preds, temperature=1.0):
    preds = np.asarray(preds).astype('float64')
    preds = np.log(preds) / temperature
    exp_preds = np.exp(preds)
    preds = exp_preds / np.sum(exp_preds)
    probas = np.random.multinomial(1, preds, 1)
    return np.argmax(probas)


# 各epochの終了時に生成された文章を表示する関数
def on_epoch_end(epoch, _):
    print()
    print('----- 生成時までに完了したEpoch数: %d' % epoch)

    start_index = random.randint(0, len(text) - maxlen - 1)
    for diversity in [0.2, 0.5]:
        print('----- diversity:', diversity)

        generated = ''
        sentence = text[start_index: start_index + maxlen]
        generated += ''.join(sentence)
        print('----- 最初の句または単語:"' + ''.join(sentence) + '"')
        sys.stdout.write(generated)

        for i in range(12):
            x_pred = np.zeros((1, maxlen, len(words)))
            for t, word in enumerate(sentence):
                x_pred[0, t, word_indices[word]] = 1.

            preds = model.predict(x_pred, verbose=0)[0]
            next_index = sample(preds, diversity)
            next_word = indices_word[next_index]

            generated += next_word
            sentence = sentence[1:]
            sentence.append(next_word)

            sys.stdout.write(next_word)
            sys.stdout.flush()
        print()


print_callback = LambdaCallback(on_batch_end=on_epoch_end)


# モデルのフィッティング
model.fit(x, y,
          batch_size=128,
          epochs=3,
          callbacks=[print_callback])

Answer 1

ソースコードの136行目を以下のように変更することで想定通りの動作をしました。
どうやら打ち間違えていたようです。

print_callback = LambdaCallback(on_epoch_end=on_epoch_end)