chainer利用時に起こったTypeError: 'NoneType' object is not iterableを解決したい

Question

画像認識プログラミングレシピという本でchainerについて学習しております。（犬と猫を判別するものです）この章ではcupyを使うことになっているのですが、macOSXなのでcupyをinstallすることができず代わりにCPUでnumpyなどを使って実行したいです。

しかし最後のtrainer.run()の部分でエラーが出てしまいました。
変更してみた箇所などコード内に記述しておりますので参照いただければと思います。(解決できませんでしたが)

import chainer
import numpy as np
from PIL import Image
import os
from chainer.datasets import LabeledImageDataset
from chainer.datasets import TransformDataset
from chainer import datasets
import chainer
import chainer.functions as F
import chainer.links as L
from chainer import training, serializers, Chain, optimizers, iterators
from chainer.training import extensions, Trainer



#学習データと検証データを分ける
cats_images_train_path = "/Users/haru/dogscats/train/cats"
dogs_images_train_path = "/Users/haru/dogscats/train/dogs"
cats_images_valid_path = "/Users/haru/dogscats/valid/cats"
dogs_images_valid_path = "/Users/haru/dogscats/valid/dogs"

image_and_teacher_label_list = []


#画像と教師ラベルを紐付ける0:猫,1:犬
def get_image_teacher_label_list(dir, label):
    filepath_list = []
    #引数dir内の画像ファイルを取得
    files = os.listdir(dir)
    #ひとつずつ取り出してディレクトリ名+画像ファイル名,ラベル(パス,ラベル)でfilepath_listに追加
    for file in files:
        filepath_list.append((dir + file, label))
    return filepath_list


#学習データと検証データをリストにする

#学習データ猫の画像フォルダ。ラベルは0:猫
image_and_teacher_label_list.extend(get_image_teacher_label_list(cats_images_train_path, 0))

#学習データ犬の画像フォルダ。ラベルは0:犬
image_and_teacher_label_list.extend(get_image_teacher_label_list(dogs_images_train_path, 1))
#検証データ猫の画像フォルダ。ラベルは0:猫
image_and_teacher_label_list.extend(get_image_teacher_label_list(cats_images_valid_path, 0))

#検証データ犬の画像フォルダ。ラベルは1:犬
image_and_teacher_label_list.extend(get_image_teacher_label_list(dogs_images_valid_path, 1))


#画像データをchainerのconvoluntion2Dに使えるように整備する

#配列の順序を入れ替える関数
def data_reshape(width_height_channel_image):
    #ndarryの生成
    image_array = np.array(width_height_channel_image)
    #配列の順序を(0,1,2)から(2,0,1)の順にする(499, 495, 3)が(3, 499, 495)になる
    return image_array.transpose(2, 0, 1)


#畳み込みの準備をする関数

def adapt_data_to_convolution2d_format(input_image):
    image, label = input_image
    
    #imageのデータを8ビットの符号なしの整数に変換する(dtypeの変換)
    image = image.astype(np.unit8)
    #imageを文字列から画像ファイルに変換
    image = Image.fromarray(image.transpose(1,2,0))
    #画像サイズを変更
    result_image = image.resize((INPUT_WIDTH, INPUT_HEIGHT), Image.LANCZOS)
    #data_reshape関数でデータ構造を再変換
    image = data_reshape(result_image)
    #0~255の整数を取るデータを0〜1の間の値に変換する(0~1のfloat32型で定義しておかないとChainerがエラーになる)
    image = image.astype(np.float32) / 255
    
    return image, label

#データセットを作成する
dogscats_dataset = LabeledImageDataset(image_and_teacher_label_list) 

transformed_dataset = TransformDataset(dogscats_dataset, adapt_data_to_convolution2d_format)


#学習データと検証データを分ける

#前処理済みのデータをランダムに8:2の割合で分割する
train_data, test_data = datasets.split_dataset_random(transformed_dataset, int(len(transformed_dataset) * 0.8), seed=0)


GPU_ID = -1 #0を-1に変更してみた
BATCH_SIZE = 64
MAX_EPOCH = 10

#CNN(畳み込みニューラルネットワーク)の設定

class CNN(Chain):
    #コンストラクタ
    def __init__ (self):
        super(CNN, self).__init__()
        
        with self.init_scope():
            self.conv1 = L.Convolution2D(None, out_channels=32, ksize=3, stride=1, pad=1)
            self.conv2 = L.Convolution2D(in_channels=32, out_channels=64, ksize=3, stride=1, pad=1)
            self.conv3 = L.Convolution2D(in_channels=64, out_channels=128, ksize=3, stride=1, pad=1)
            self.conv4 = L.Convolution2D(in_channels=128, out_channels=256, ksize=3, stride=1, pad=1)
            self.layer1 = L.Linear(None, 1000)
            self.layer2 = L.Linear(1000, 2)
            
    def __call__(self, input):
        func = F.max_pooling_2d(F.relu(self.conv1(input)), ksize=2, stride=2)
        func = F.max_pooling_2d(F.relu(self.conv2(input)), ksize=2, stride=2)
        func = F.max_pooling_2d(F.relu(self.conv3(input)), ksize=2, stride=2)
        func = F.max_pooling_2d(F.relu(self.conv4(input)), ksize=2, stride=2)
        func = F.dropout(F.relu(self.layer1(func)), ratio=0.80)
        func = self.layer2(func)
        return func

model = L.Classifier(CNN())
model.to_cpu() #to_gpu(GPU_ID)を変更してみた

#学習用の反復子
train_iterator = iterators.MultiprocessIterator(train_data, BATCH_SIZE)
あ#検証用の反復子
test_iterator = iterators.MultiprocessIterator(test_data, BATCH_SIZE, False, False)

optimizer = optimizers.Adam().setup(model)

updater = training.StandardUpdater(train_iterator, optimizer, device=GPU_ID)

trainer = Trainer(updater, stop_trigger=(MAX_EPOCH, "epoch"))

trainer.run()

以下のようなサイトを参考にしつつ考えてみましたが解決できませんでした。分かる方いましたら回答よろしくお願いします。
https://www.amelt.net/imc/programming/python/3640/

文字数の関係上エラー内容はこちらにに記述させていただきます。
エラー内容はこちら

Answer 1

np.uint8をunit8にしていたのが間違いでした。また、画像ファイルの最後に/をつけ忘れていました。

Answer 2

FileNotFoundError: [Errno 2] No such file or directory: '/Users/haru/dogscats/train/catscat.1171.jpg'

って書いてあるので、画像ファイルが足りないのでしょう
(足りないのは、上記1枚だけとは限らない)

Comments

[seyu0930]

今朝もう一度実行してみたらエラー内容が変わっていました。

Exception in main training loop: 'NoneType' object has no attribute 'thread'
Traceback (most recent call last):
File "/usr/local/Caskroom/miniforge/base/envs/ds_env/lib/python3.8/site-packages/chainer/training/trainer.py", line 343, in run
update()
File "/usr/local/Caskroom/miniforge/base/envs/ds_env/lib/python3.8/site-packages/chainer/training/updaters/standard_updater.py", line 240, in update
self.update_core()
File "/usr/local/Caskroom/miniforge/base/envs/ds_env/lib/python3.8/site-packages/chainer/training/updaters/standard_updater.py", line 245, in update_core
batch = iterator.next()
File "/usr/local/Caskroom/miniforge/base/envs/ds_env/lib/python3.8/site-packages/chainer/iterators/multiprocess_iterator.py", line 147, in __next__
if self._prefetch_loop.thread is None:
Will finalize trainer extensions and updater before reraising the exception.
---------------------------------------------------------------------------
AttributeError Traceback (most recent call last)
<ipython-input-29-041e2033e90a> in <module>
----> 1 trainer.run()

/usr/local/Caskroom/miniforge/base/envs/ds_env/lib/python3.8/site-packages/chainer/training/trainer.py in run(self, show_loop_exception_msg)
374 f.write('Traceback (most recent call last):\n')
375 traceback.print_tb(sys.exc_info()[2])
--> 376 six.reraise(*exc_info)
377 finally:
378 for _, entry in extensions:

/usr/local/Caskroom/miniforge/base/envs/ds_env/lib/python3.8/site-packages/six.py in reraise(tp, value, tb)
717 if value.__traceback__ is not tb:
718 raise value.with_traceback(tb)
--> 719 raise value
720 finally:
721 value = None

/usr/local/Caskroom/miniforge/base/envs/ds_env/lib/python3.8/site-packages/chainer/training/trainer.py in run(self, show_loop_exception_msg)
341 self.observation = {}
342 with reporter.scope(self.observation):
--> 343 update()
344 for name, entry in extensions:
345 if entry.trigger(self):

/usr/local/Caskroom/miniforge/base/envs/ds_env/lib/python3.8/site-packages/chainer/training/updaters/standard_updater.py in update(self)
238
239 """
--> 240 self.update_core()
241 self.iteration += 1
242

/usr/local/Caskroom/miniforge/base/envs/ds_env/lib/python3.8/site-packages/chainer/training/updaters/standard_updater.py in update_core(self)
243 def update_core(self):
244 iterator = self._iterators['main']
--> 245 batch = iterator.next()
246 in_arrays = convert._call_converter(
247 self.converter, batch, self.input_device)

/usr/local/Caskroom/miniforge/base/envs/ds_env/lib/python3.8/site-packages/chainer/iterators/multiprocess_iterator.py in __next__(self)
145 def __next__(self):
146 measure_mode = False
--> 147 if self._prefetch_loop.thread is None:
148 if self._prefetch_loop.measure_required():
149 measure_mode = True

AttributeError: 'NoneType' object has no attribute 'thread'

[seyu0930]

全てのセルを実行した場合最初に質問したエラーが出て

FileNotFoundError: [Errno 2] No such file or directory: '/Users/haru/dogscats/train/catscat.1171.jpg'

の画像ファイルが毎回かわります。

全てのセルを実行した後、trainer.run()だけをもう一度実行すると返信で記述したエラーが出ます。