訓練データ読み込み時に.DS_Storeというファイル名になり見つからない

Question

[訓練画像を読み込む]
(http://https://torina.top/detail/334/)
このサイトを参考に、DATA.pklを作って簡単にデータを呼び出せるようにしたいと思いました。

#Load_Data.py
import os
import pickle
import numpy as np
from PIL import Image


class LoadMnistImage:

    def __init__(self):
        """初期化処理"""

        self.train_img = None
        self.train_label = None
        self.test_img = None
        self.test_label = None

    def get_data(self, DATA_file,
                 normalize=False, flatten=False, one_hot_label=True):
        """既に作成したpickleファイルからデータを読み込む（なければ作成する）"""

        if not os.path.exists(DATA_file):
            self.create_data(DATA_file)

            dataset = pickle.load(f)

        self.train_img = dataset['train_img']
        self.train_label = dataset['train_label']
        self.test_img = dataset['test_img']
        self.test_label = dataset['test_label']

        if flatten:
            self.to_flatten()

        if normalize:
            self.to_normalize()

        if not one_hot_label:
            self.no_hot_label()

    def to_flatten(self):
        """画像を1次元にする (100, 100) →(10000,)"""

        self.train_img = self.train_img.reshape(len(self.train_img), 10000)
        self.test_img = self.test_img.reshape(len(self.test_img), 10000)

    def to_normalize(self):
        """画像のピクセル値を0.0~1.0に正規化する"""

        self.train_img = self.train_img.astype(np.float32) / 255.0
        self.test_img = self.test_img.astype(np.float32) / 255.0

    def no_hot_label(self):
        """one_hot表現をなくす"""

        self.train_label = self.train_label.argmax(axis=1)
        self.test_label = self.test_label.argmax(axis=1)

    def create_data(self, DATA_file):
        """画像・ラベルを読み込み、pickleとして作成・保存する"""

        train_img, train_label, test_img, test_label = [], [], [], []

        # traningディレクトリはの画像はtrain_img, train_labelへ
        # testingディレクトリはtest_img, test_labelへ
        kinds = [
            ['train', train_img, train_label],
            ['test', test_img, test_label],
        ]
        for kind in kinds:

            # このiはディレクトリ名であると同時に、正解ラベル名
            for i in range(10):

                # mnist_png/training/0 等のパス
                dir_path = os.path.join('gazoフォルダの絶対パス', kind[0], str(i))

                # [mnist_png/training/0/1.png, mnist_png/training/0/2.png]等のリスト
                file_paths = [os.path.join(dir_path, file)
                              for file in os.listdir(dir_path)]

                # [[画像のnumpy配列], [画像のnumpy配列], ...])のような2次元配列
                images = [np.asarray(Image.open(path)).reshape(1, 100, 100) for path in file_paths]
                kind[1].extend(images)

                # ディレクトリ名のiが、そのまま正解ラベル名なので、1を入れる
                label = [0, 0, 0, 0, 0, 0, 0, 0, 0, 0]
                label[i] = 1
                labels = [label for x in file_paths]
                kind[2].extend(labels)

        dataset = {
            'train_img': np.array(train_img),  
            'train_label': np.array(train_label),  
            'test_img': np.array(test_img),  
            'test_label': np.array(test_label),  
        }

        with open(DATA_file, 'wb') as f:
            pickle.dump(dataset, f, -1)

In []: mnist = LoadMnistImage() 
    ...: mnist.get_data('DATA.pkl') 
    ...: x_train = mnist.train_img 
    ...: t_train = mnist.train_label 
    ...: x_test = mnist.test_img 
    ...: t_test = mnist.test_label 
    ...:                                                                        
---------------------------------------------------------------------------
UnidentifiedImageError                    Traceback (most recent call last)
<ipython-input-65-bffc309716cf> in <module>
      1 mnist = LoadMnistImage()
----> 2 mnist.get_data('DATA.pkl')
      3 x_train = mnist.train_img
      4 t_train = mnist.train_label
      5 x_test = mnist.test_img

~/WORK/Load_Data.py in get_data(self, DATA_file, normalize, flatten, one_hot_label)
     20 
     21         if not os.path.exists(DATA_file):
---> 22             self.create_data(DATA_file)
     23 
     24             dataset = pickle.load(f)

~/WORK/Load_Data.py in create_data(self, DATA_file)
     80 
     81                 # [[画像のnumpy配列], [画像のnumpy配列], ...])のような2次元配列
---> 82                 images = [np.asarray(Image.open(path)).reshape(1, 100, 100) for path in file_paths]
     83                 kind[1].extend(images)
     84 

~/WORK/Load_Data.py in <listcomp>(.0)
     80 
     81                 # [[画像のnumpy配列], [画像のnumpy配列], ...])のような2次元配列
---> 82                 images = [np.asarray(Image.open(path)).reshape(1, 100, 100) for path in file_paths]
     83                 kind[1].extend(images)
     84 

/usr/local/lib/python3.7/site-packages/PIL/Image.py in open(fp, mode)
   2894         warnings.warn(message)
   2895     raise UnidentifiedImageError(
-> 2896         "cannot identify image file %r" % (filename if filename else fp)
   2897     )
   2898 

UnidentifiedImageError: cannot identify image file 'gazo絶対パス/train/0/.DS_Store'

自分の環境では、実行しているWORKの中にLoad_Data.py,gazo、gazoの中にtrain,testがあり、さらにその中で0,1,2,3の名前でjpg画像が複数入った4フォルダに分かれています。
最後の.DS_Storeが気になるのですが、調べてもよくわかりませんでした。
サイトを書いた方の環境はわからないのですが、自分はMacを使っています。
どこか変なところがあったら教えてください。

Answer 1

ファイルリストを作成する処理にて、以下のように.DS_Storeを除外すればよいかと思います。

file_paths = [os.path.join(dir_path, file) for file in os.listdir(dir_path) if file != '.DS_Store']

Comments

[tbc]

ありがとうございます。
消しても解決しなかったのですがこうすれば良いのですね。