IndexError: list index out of range

Question

IndexError: list index out of range
とエラーが出ました。
Tracebackには、

Run id: P0W5X0
Log directory: /tmp/tflearn_logs/
Exception in thread Thread-2:
Traceback (most recent call last):
  File "/usr/local/Cellar/python@2/2.7.15/Frameworks/Python.framework/Versions/2.7/lib/python2.7/threading.py", line 801, in __bootstrap_inner
    self.run()
  File "/usr/local/Cellar/python@2/2.7.15/Frameworks/Python.framework/Versions/2.7/lib/python2.7/threading.py", line 754, in run
    self.__target(*self.__args, **self.__kwargs)
  File "/Users/xxx/anaconda/xxx/lib/python2.7/site-packages/tflearn/data_flow.py", line 201, in fill_batch_ids_queue
    ids = self.next_batch_ids()
  File "/Users/xxx/anaconda/xxx/lib/python2.7/site-packages/tflearn/data_flow.py", line 215, in next_batch_ids
    batch_start, batch_end = self.batches[self.batch_index]
IndexError: list index out of range

と出ました。

# coding: utf-8
import tensorflow as tf
import tflearn

from tflearn.layers.core import input_data,dropout,fully_connected
from tflearn.layers.conv import conv_2d, max_pool_2d
from tflearn.layers.normalization import local_response_normalization
from tflearn.layers.estimator import regression

tf.reset_default_graph()
net = input_data(shape=[None,20000, 4, 42])
net = conv_2d(net, 4, 16, activation='relu')
net = max_pool_2d(net, 1)
net = tflearn.activations.relu(net)
net = dropout(net, 0.5)
net = tflearn.fully_connected(net, 2, activation='softmax')
net = tflearn.regression(net, optimizer='adam', learning_rate=0.5, loss='categorical_crossentropy')

model = tflearn.DNN(net)

model.fit(np.array(trainDataSet).reshape(1,20000, 4, 42), np.array(trainLabel), n_epoch=400, batch_size=32, validation_set=0.1, show_metric=True)


pred = np.array(model.predict(np.array(testDataSet).reshape(1,20000, 4, 42)).argmax(axis=1))

label = np.array(testLabel).argmax(axis=0)
accuracy = np.mean(pred == label, axis=0)

print(accuracy)

とコードを書きました。なぜエラーが出るのでしょうか？どのようにコードを修正したら良いのでしょうか？

Answer 1

np.array(trainDataSet).shapeがどのような値になるか教えてもらえませんか．

Comments

[taiyo2017]

(20000, 4, 42) です

[Hiroki013]

回答ありがとうございます。データの性質が詳しくわからないのですが、trainDataSetは（データ数、時間の長さ、特徴量）の内訳で格納されているデータの認識であっているでしょうか。それであれば、`input_data(shape=[None, 4, 42])`で良いと思います。ただ、`input_data`の入力を受けるレイヤーがconv2d、maxpool2dなので、conv1d、maxpool1dに変更したほうが良いと思います。

[taiyo2017]

ありがとうございます。そのようにコードを実行すると、
ValueError: Cannot feed value of shape (40,) for Tensor u'TargetsData/Y:0', which has shape '(?, 2)'
とエラーが出てしまいました。。。どうしたらいいですか？

[Hiroki013]

このエラーは出力に関するものだと思います．np.array(trainLabel)のshapeと，出力はどのようなものでしょうか．

[taiyo2017]

np.array(trainLabel)のshapeは(20000,)　で、その中身は[0 0 1 ... 1 1 0]　のような０か１が入っている配列です。

[Hiroki013]

ありがとうございます．フレームワークの使い方次第の部分がありますが，学習させるためのデータはone-hot表現になっている必要があります．具体的には，([1, 0], [1, 0], [0, 1], .....)といった(20000, 2)の配列である必要があります．説明が上手くないので詳細は検索してほしいいのですが，作業としては難しくないとおもいます．trainLabelがfor文で各データを取得できるようであれば，以下のコードで変形してみると良いかもしれません．
oh = []
vec = np.zeros((2))
for v in trainLabel:
vec[v] = 1
oh.append(vec.copy())
vec[v] = 0
oh = np.array(oh)

このohをnp.array(trainLabel)を入れている部分と差し替えると如何でしょうか．

[taiyo2017]

ありがとうございます、できました！なぜ`input_data(shape=[None, 4, 42])`　に変更すべきだったのでしょうか？

[Hiroki013]

この書き方ですと（input_data(shape=[None,20000, 4, 42])），特徴が（20000, 4, 42）であり，そのデータが並んでいるということを意味しています．つまり，None以降は特徴量のshapeを用意する必要があります．今回は，(20000=データ数, 時間長, 特徴量)というデータを扱っていたので，shape=[None, 4, 42]が正しい書き方になった，というわけです．ご参考になれば．

[taiyo2017]

なるほど、本当にありがとうございました！！