numpyでIndexError: index 3 is out of bounds for axis 1 with size 2

Question

x_haiku[0,char_indices[char]] = 1.で
IndexError: index 3 is out of bounds for axis 1 with size 2
と出ました。
これは、numpyで要素の範囲外を示すエラーで、
今回の場合、行列の要素３が、１から２までにない。ということを示しているはずなのですが、周辺の数字を変えても直せません。
Numpyで行列の範囲外を切り抜くとどうなるか

poem.txtは、

朝霧 の 中 に 九段 の ともし 哉
あたたか な 雨 が 降る なり 枯葎
菜の花 や は つと 明るき 町 は づれ
秋風 や 伊予 へ 流る る 汐 の 音
長閑 さ や 障子 の 穴 に 海 見え て

import numpy as np
import codecs
from keras.layers import Activation, Dense, Input
from keras.models import Model
import sys

#データの読み込み
with open(r'/home/hoge/Desktop/data/haiku.txt', encoding='utf-8') as f:
    poems = f.readlines()
    for p in poems:
        s = p.rstrip() # 改行を除去
        s = s.split(' ')

# 文字をID変換
char_indices = dict((c, i) for i, c in enumerate(chars))
# IDから文字へ変換
indices_char = dict((i, c) for i, c in enumerate(chars))
#テキストを2文字ずつ読み込む
maxlen = 2
#サンプルバッチ数
step = 2
sentences = []
for i in range(0, len(poems) - maxlen, step):
    sentences.append(poems[i: i + maxlen])

#ベクトル化する
x = np.zeros((len(sentences), maxlen, len(chars)), dtype=np.bool)
for i, sentence in enumerate(sentences):
    for t, char in enumerate(sentence):
        x[i, t, char_indices[char]] = 10

#encoderの次元
encoding_dim = 128
#入力用の変数
input_word = Input(shape=(maxlen, len(chars)))
#入力された語がencodeされたものを格納する
encoded = Dense(128, activation='relu')(input_word)
encoded = Dense(64, activation='relu')(encoded)
encoded = Dense(32, activation='relu')(encoded)
latent = Dense(8, activation='relu')(encoded)
#encodeされたデータを再構成
decoded = Dense(32, activation='relu')(latent)
decoded = Dense(64, activation='relu')(decoded)
decoded = Dense(39065, activation='relu')(encoded)
autoencoder = Model(inputs=input_word, outputs=decoded)
# #Adamで最適化、loss関数をcategorical_crossentropy
autoencoder.compile(optimizer='Adam', loss='categorical_crossentropy')
#アレイサイズの確認
print(x.shape)

autoencoder.fit(x, x,
       epochs=50,
       batch_size=3,
       shuffle=False)

for i in range(17):
    x_haiku = np.zeros((1, maxlen, len(chars)))
    for t, char in enumerate(sentence):
        x_haiku[0,char_indices[char]] = 1.
        sentence = sentence[:-1]
print(char)

Answer 1

x_haiku = np.zeros((1, maxlen, len(chars)))

で maxlen = 2 なので、x_haiku の axis=1 で index=3 にアクセスしようとした場合、エラーになります。

Comments

[yep]

maxlen = 4にすると秋風 や 伊予 へ 流る る 汐 の 音という文章がそのまま出てきました。

[yep]

maxlen = 3は、IndexError: index 3 is out of bounds for axis 1 with size 3
になり、maxlen = 5は、AttributeError: 'ProgbarLogger' object has no attribute 'log_values'となります。

[tiitoi]

IndexError の原因は判明したと思いますが、質問はなんでしょうか。

[yep]

このmaxlenを私はデータを何文字ずつ読み込むというつもりで書いたのですが、これは、私の考えとは違う挙動をしているということでしょうか？

[tiitoi]

まず x_haiku = np.zeros((1, maxlen, len(chars))) がどのような情報を格納するために用意した配列なのでしょうか？
3次元配列なのに、x_haiku[0, char_indices[char]] = 1. とアクセスしてるのは、意図どおりなのでしょうか？

[yep]

調べてみると、
for i in range(17):
x_haiku = np.zeros((1, maxlen, len(chars)))
for t, char in enumerate(sentence):
x_haiku[0,char_indices[char]] = 1.
sentence = sentence[:-1]
自体が意味がないようです。
また、x_haiku[0, char_indices[char]] = 1.は、頑張って書いてみましたが、これも意味がないようです。