np.load(npy)のValueError(cannot reshape array of size 743050334 into shape (2768,512,1024))

Question

閲覧ありがとうございます。Google ColaboratoryでGoogle driveに保存したnpyをloadしようとしたところValueErrorが出てしまいよく理解できなかったため質問いたしました。npyの次元は(2768,512,1024)です。実現したいことは、機械学習のために作成したデータセットを読み込むことです。以下、ソースコードとエラー文になります。宜しくお願い致します。

!pip install sunpy

from keras.layers import Input, Dense
from keras.models import Model
from keras.preprocessing.image import load_img, save_img, img_to_array, array_to_img
import os
import glob
from PIL import Image
import numpy as np
from sklearn.model_selection import train_test_split
import matplotlib.pyplot as plt
from google.colab import drive
import sunpy.map

drive.mount('/content/drive', force_remount=True)

input_data = np.load('drive/My Drive/study/temp_201005_All.npy')　###エラー箇所
print(input_data.shape)
t = np.zeros(input_data[0],dtype='int32')
print(t.shape)

ValueError                                Traceback (most recent call last)
<ipython-input-6-29c01da90b5c> in <module>()
----> 1 input_data = np.load('drive/My Drive/study/temp_201005_All.npy')
      2 print(input_data.shape)
      3 t = np.zeros(input_data[0],dtype='int32')
      4 print(t.shape)

1 frames
/usr/local/lib/python3.7/dist-packages/numpy/lib/npyio.py in load(file, mmap_mode, allow_pickle, fix_imports, encoding)
    438             else:
    439                 return format.read_array(fid, allow_pickle=allow_pickle,
--> 440                                          pickle_kwargs=pickle_kwargs)
    441         else:
    442             # Try a pickle

/usr/local/lib/python3.7/dist-packages/numpy/lib/format.py in read_array(fp, allow_pickle, pickle_kwargs)
    769             array = array.transpose()
    770         else:
--> 771             array.shape = shape
    772 
    773     return array

ValueError: cannot reshape array of size 743050334 into shape (2768,512,1024)

以下追記したソースコードですが、ここでは読み込んだ画像をndarrayに変換した後、512*1024のサイズになるようpadding(画像によって元々のサイズが違うため)した後、追加した軸に沿って画像2,768枚をstackしています。

import glob
import sunpy.map
import numpy as np
import matplotlib.pyplot as plt
import cv2
import math
from google.colab import drive
drive.mount('/content/drive', force_remount=True)

f_list = sorted(glob.glob('drive/My Drive/study/201005/*.magnetogram.fits'))
x_pad = 512
y_pad = 1024

input_data = np.array(sunpy.map.Map(f_list[0]).data)
pad_top = int((y_pad / 2) - math.floor(input_data.shape[1] / 2))
pad_bottom = int((y_pad / 2) - math.ceil(input_data.shape[1] / 2))
pad_left = int((x_pad / 2) - math.floor(input_data.shape[0] / 2))
pad_right = int((x_pad / 2) - math.ceil(input_data.shape[0] / 2))

input_data = np.pad(input_data, [(pad_left, pad_right), (pad_top, pad_bottom)], 'constant')
input_data = input_data[np.newaxis, :, :]
print(input_data.shape)
for i in range(len(f_list)-1):
  tmp = np.array((sunpy.map.Map(f_list[i+1])).data)
  pad_top = int((y_pad / 2) - math.floor(tmp.shape[1] / 2))
  pad_bottom = int((y_pad / 2) - math.ceil(tmp.shape[1] / 2))
  pad_left = int((x_pad / 2) - math.floor(tmp.shape[0] / 2))
  pad_right = int((x_pad / 2) - math.ceil(tmp.shape[0] / 2))
  tmp = np.pad(tmp, [(pad_left, pad_right), (pad_top, pad_bottom)], 'constant')
  input_data = np.vstack([input_data, tmp[np.newaxis, :, :]])
  print(input_data.shape)
np.save('drive/My Drive/study/temp_201005_All', input_data)

Comments

[ikapy]

linuxのfactorコマンドで素因数分解したら
743050334: 2 13 101 282959
と出ました。なにかヒントになりませんか。

[__horito]

おそらくnumpyファイルが破損かもなのでもう一度正しいファイルか確認した方が良いかと
どのようにファイルを作成したのとかファイルの情報も質問に必要かと思いました。

[tkrd]

お二人ともありがとうございます。
素因数分解していただいた件ですが、すみませんが分かりませんでした。
ファイルの破損の可能性について、もう一度作成しなおしてみたいと思います。
また、npyのバイナリファイルを作成したコードを載せましたので、何かヒントになれば教えていただきたく思います。

[__horito]

一度画像の枚数を１０枚とか数を減らしてみるのはどうでしょうか？
データのサイズに限界があるのかも

[tkrd]

ありがとうございます。10枚でやったところ問題なくできました。サイズの問題なのかもしれませんね、もう少し検証してみたいと思います。

Answer 1

ファイルの破損が原因でした。