MNISTを用いた学習モデルの作成における，KeyErrorが解消できません．

Question

前提

開発環境はmacos，spyderです

発生している問題・エラーメッセージ

Start
/ユーザー名/anaconda3/lib/python3.10/site-packages/sklearn/datasets/_openml.py:1002: FutureWarning: The default value of `parser` will change from `'liac-arff'` to `'auto'` in 1.4. You can set `parser='auto'` to silence this warning. Therefore, an `ImportError` will be raised from 1.4 if the dataset is dense and pandas is not installed. Note that the pandas parser may return different data types. See the Notes Section in fetch_openml's API doc for details.
  warn(
epoch 0
Traceback (most recent call last):

  File ~/anaconda3/lib/python3.10/site-packages/spyder_kernels/py3compat.py:356 in compat_exec
    exec(code, globals, locals)

  File ~/Library/CloudStorage/保存先名/spyder/保存ファイル名.py:48
    x = Variable(x_all[indexes[i : i + BATCHSIZE]])

  File ~/anaconda3/lib/python3.10/site-packages/pandas/core/frame.py:3813 in __getitem__
    indexer = self.columns._get_indexer_strict(key, "columns")[1]

  File ~/anaconda3/lib/python3.10/site-packages/pandas/core/indexes/base.py:6070 in _get_indexer_strict
    self._raise_if_missing(keyarr, indexer, axis_name)

　File ~/anaconda3/lib/python3.10/site-packages/pandas/core/indexes/base.py:6130 in _raise_if_missing
　raise KeyError(f"None of [{key}] are in the [{axis_name}]")

KeyError: "None of [Int64Index([35591, 20294, 18337, 16931, 13072, 69126, 39634, 25769, 11346,\n            51243, 21720, 20385, 62344, 43301, 26070, 34432, 34125, 68804,\n            51753, 36023, 69494, 28196,  9979,  6770, 32787, 41588, 68411,\n            11848, 25625,  7457, 28528, 24608,  9720, 58788, 29144, 64967,\n            24248,  3573, 20452, 40200,   789, 69971, 61182, 64594, 21509,\n            69578, 64162, 24641, 22162, 29223, 57707, 16098, 27149, 37215,\n            29198, 53891, 26750, 28734, 60063, 21480, 40913, 39801, 65790,\n            50183, 57479, 17439,   793, 35548, 15707,  3294, 62658, 44846,\n             3386,  7345, 53687, 19329, 69516, 52891,  1857, 24471, 49636,\n            62473, 65023, 66143,  8098, 59403, 36681, 60229, 34429, 53443,\n            38653, 13604, 53509, 13794, 67996, 11017, 51464, 35539, 69727,\n            13377],\n           dtype='int64')] are in the [columns]"

試したこと

おそらくこの部分がおかしいのではないかと思い，.valuesを加えたりと試したのですが解消されませんでした

    for i in range(0, DATASIZE, BATCHSIZE):
        x = Variable(x_all[indexes[i : i + BATCHSIZE]])
        t = Variable(y_all[indexes[i : i + BATCHSIZE]])

該当のソースコード

import numpy as np
from chainer import Variable, optimizers, serializers
from chainer import Chain
import chainer.functions as F
import chainer.links as L
from sklearn.datasets import fetch_openml


class MyMLP(Chain):
    def __init__(self, n_in=784, n_units=100, n_out=10):
        super(MyMLP, self).__init__(
            l1=L.Linear(n_in, n_units),
            l2=L.Linear(n_units, n_units),
            l3=L.Linear(n_units, n_out),
        )
    def __call__(self, x):
        h1 = F.relu(self.l1(x))
        h2 = F.relu(self.l2(h1))
        y = self.l3(h2)
        return y
    
print('Start')

mnist_X, mnist_y = fetch_openml('mnist_784', version=1, data_home=".", return_X_y=True)

x_all = mnist_X.astype(np.float32) / 255
y_all = mnist_y.astype(np.int32)

model = MyMLP()
optimizer = optimizers.SGD()
optimizer.setup(model)

BATCHSIZE = 100
DATASIZE = 70000

for epoch in range(20):
    print('epoch %d' % epoch)
    indexes = np.random.permutation(DATASIZE)
    for i in range(0, DATASIZE, BATCHSIZE):
        x = Variable(x_all[indexes[i : i + BATCHSIZE]])
        t = Variable(y_all[indexes[i : i + BATCHSIZE]])
        
        model.zerograds()
        
        y = model(x)
        
        loss = F.softmax_cross_entropy(y, t)
        
        loss.backward()
        
        optimizer.update()
        
serializers.save_npz("mymodel.npz", model)

print('Finish')

Comments

[meg_]

> KeyErrorが解消できません．
エラー発生行に関する情報を質問に追記してください。

[meg_]

質問が編集されましたが「File ~/anaconda3/lib/python3.10/site-packages/pandas/core/indexes/base.py:6130 in _raise_if_missing
raise KeyError(f"None of [{key}] are in the [{axis_name}]")」はモジュール内で発生したエラーについてですね。
そうではなく、質問者さんが書いたコード（該当のソースコード）の中の”どこで”KeyError”が発生したのかを質問に追記してください。

[jbpb0]

質問に記載のエラーメッセージよりも上に「Traceback」と書かれてたら、そこから下をできるだけ省略せずに質問に記載してください
(ここに書くのではなく、質問を編集して追記する)

ユーザー名等の個人情報は伏せ字でいいですが、それ以外はできるだけそのまま記載してください

Answer 1

コメントを受けて回答を修正します。
下記コードでエラーは解消されるかと思います。

x = Variable(x_all.loc[indexes[i : i + BATCHSIZE]].values)
t = Variable(y_all.loc[indexes[i : i + BATCHSIZE]].values)

Comments

[ponnnta]

回答ありがとうございます．
変更すると，以下のようなエラーが出ました．
TypeError: or <class 'numpy.ndarray'> are expected. Actual: <class 'pandas.core.frame.DataFrame'>

[ponnnta]

解消しました．
ベストアンサーに選ばせていただきます．
本当にありがとうございました．