Ｐｙｔｈｏｎ InvalidArgumentError: Can not squeeze dim[0], expected a dimension of 1, got 0 [Op:Squeeze]

Question

前提・実現したいこと

train画像を４つのフォルダに等分し、フォルダごとにjpeg画像に変換する作業を行ったところ、フォルダ①のみ以下のようなエラーが発生してしまいました（フォルダ②〜④は問題なく実行できました）。
また、それぞれのフォルダには画像が3,750枚ずつ入っているのですが、なぜかフォルダ①だけは3,751枚入っていると認識されてしまいます。
フォルダ①にのみ何か不具合のある画像が入っているのではと推測しているのですが、その画像を特定することは可能でしょうか。
また、もしも上記以外に思い当たる解決策などありましたらぜひご教示いただけますと幸いです。
どうぞよろしくお願いいたします。

発生している問題・エラーメッセージ

InvalidArgumentError                      Traceback (most recent call last)
<ipython-input-3-18afe903bdf5> in <module>
      9 
     10 for name in tqdm(sorted(os.listdir(source))[:]):#[:100]):
---> 11     image = read_dicom(os.path.join(source, name))
     12     image = tf.io.encode_jpeg(
     13         image,

<ipython-input-2-5607b4c75658> in read_dicom(path)
      8     )
      9 
---> 10     image = tf.squeeze(image, axis = 0)
     11 
     12     image = tf.image.resize(

~/home/user/libraries/Miniconda3/envs/test/lib/python3.6/site-packages/tensorflow/python/util/dispatch.py in wrapper(*args, **kwargs)
    199     """Call target, and fall back on dispatchers if there is a TypeError."""
    200     try:
--> 201       return target(*args, **kwargs)
    202     except (TypeError, ValueError):
    203       # Note: convert_to_eager_tensor currently raises a ValueError, not a

~/home/user/libraries/Miniconda3/envs/test/lib/python3.6/site-packages/tensorflow/python/ops/array_ops.py in squeeze_v2(input, axis, name)
   4429   """
   4430   # pylint: disable=redefined-builtin
-> 4431   return squeeze(input, axis, name)
   4432 
   4433 

~/home/user/libraries/Miniconda3/envs/test/lib/python3.6/site-packages/tensorflow/python/util/dispatch.py in wrapper(*args, **kwargs)
    199     """Call target, and fall back on dispatchers if there is a TypeError."""
    200     try:
--> 201       return target(*args, **kwargs)
    202     except (TypeError, ValueError):
    203       # Note: convert_to_eager_tensor currently raises a ValueError, not a

~/home/user/libraries/Miniconda3/envs/test/lib/python3.6/site-packages/tensorflow/python/util/deprecation.py in new_func(*args, **kwargs)
    536                 'in a future version' if date is None else ('after %s' % date),
    537                 instructions)
--> 538       return func(*args, **kwargs)
    539 
    540     doc = _add_deprecated_arg_notice_to_docstring(

~/home/user/libraries/Miniconda3/envs/test/lib/python3.6/site-packages/tensorflow/python/ops/array_ops.py in squeeze(input, axis, name, squeeze_dims)
   4377   if np.isscalar(axis):
   4378     axis = [axis]
-> 4379   return gen_array_ops.squeeze(input, axis, name)
   4380 
   4381 

~/home/user/libraries/Miniconda3/envs/test/lib/python3.6/site-packages/tensorflow/python/ops/gen_array_ops.py in squeeze(input, axis, name)
  10154       return _result
  10155     except _core._NotOkStatusException as e:
> 10156       _ops.raise_from_not_ok_status(e, name)
  10157     except _core._FallbackException:
  10158       pass

~/home/user/libraries/Miniconda3/envs/test/lib/python3.6/site-packages/tensorflow/python/framework/ops.py in raise_from_not_ok_status(e, name)
   6860   message = e.message + (" name: " + name if name is not None else "")
   6861   # pylint: disable=protected-access
-> 6862   six.raise_from(core._status_to_exception(e.code, message), None)
   6863   # pylint: enable=protected-access
   6864 

~/home/user/libraries/Miniconda3/envs/test/lib/python3.6/site-packages/six.py in raise_from(value, from_value)

InvalidArgumentError: Can not squeeze dim[0], expected a dimension of 1, got 0 [Op:Squeeze]

該当のソースコード

import os
import tensorflow as tf
import tensorflow_io as tfio
from tqdm.notebook import tqdm

os.environ["CUDA_VISIBLE_DEVICES"]="0" #specify GPU

# Reading DICOM images

def read_dicom(path):
    image_bytes = tf.io.read_file(path)
    image = tfio.image.decode_dicom_image(
        image_bytes, 
        dtype = tf.uint16
    )
    
    image = tf.squeeze(image, axis = 0)
    
    image = tf.image.resize(
        image, 
        (500, 500), 
        preserve_aspect_ratio = True
    )
    
    image = image - tf.reduce_min(image)
    image = image / tf.reduce_max(image)
    image = tf.cast(image * 255, tf.uint8)
    
    return image

# Destination folder
destination = "train_1_jpeg"
os.makedirs(destination, exist_ok = True)

# Source folder
source = "./train_1"

for name in tqdm(sorted(os.listdir(source))[:]):#[:100]):
    image = read_dicom(os.path.join(source, name))
    image = tf.io.encode_jpeg(
        image, 
        quality = 100, 
        format = 'grayscale'
    )
    
    name = name.replace(".dicom", ".jpeg")
    tf.io.write_file(os.path.join(destination, name), image)

Comments

[jbpb0]

def read_dicom(path):
の次に
print(path)
を追加したら、read_dicom()が実行される度に引数「path」の内容が表示されるので、エラーが出た直前に表示された「path」から、怪しい画像ファイルが分かると思います
ただし、エラーが出るまでに、「path」が数千回表示されるかもしれません

あと、追加する行のインデントは、次の行(image_bytes =...)に合わせてください

[SuzuAya]

>jbpb0様
コメントありがとうございます！１枚目からエラーが出てしまい途方に暮れていたのですが、無事解決いたしました。ご丁寧にありがとうございました！

Answer 1

とりあえず

for name in tqdm(sorted(os.listdir(source))[:]):#[:100]):
    try:
        image = read_dicom(os.path.join(source, name))
    except:
        print(name)
        continue
    # 以下略

とかで走らせてみるといいのかもしれません。

Comments

[SuzuAya]

>hayataka2049様
ご回答ありがとうございます！１枚、よくわからないファイル名がprint出力され、その他のファイルは無事jpeg変換することができました！本当に助かりました。ありがとうございました。

[jbpb0]

質問者さんへ
「よくわからないファイル名」が、もしかしたらOSが勝手に作るファイルかもしれないので、そのディレクトリ内の全ファイルを読むのではなく、ファイル名の拡張子で画像ファイルだけ選んで読むようにした方がいいかもしれません