複数枚の画像ファイルが圧縮されたzipファイルから解凍せずにarrayとして読み込む方法

Question

複数のjpg画像（低解像度、数百～千枚）が格納されたzipファイルから画像を読み込んでarrayデータ化したいのですが、zipファイルのままデータにアクセスしていくことは難しいでしょうか。

pandasのread_csv()またはzipfileのzipファイルが読み込めることはわかったのですが、
可能であればzipファイルを解凍せずに画像データをskimageモジュールのio.k imreadで読み込んでいきたいです。

import zipfile
import pandas as pd
import skimage.io
data_=[]
with zipfile.ZipFile(train_data_zip) as zip:
   #zipファイルの中身を取得する
   temp_lst=zip.namelist()
   data_.append()

などを用いるとファイル名はリストで取得できるのですが、with内でtemp_lstなどに対してskimage.io.imread()を行うとエラーとなります。

やはり、事前にzipファイルを解凍して、順番にimreadで画像データを数値化して、arrayデータに落とし込んでいく手法の方が無難でしょうか。

アドバイスいただけますと幸いです。よろしくお願いします。

Comments

[tiitoi]

データフレームはエクセルで扱うような2次元の表データを扱うためのオブジェクトですが、画像データをデータフレームにするとはどういう意味でしょうか？

[yohehe]

すみません、zipファイル内のskimageのio.imead()で画像ファイルを読み込んでarrayデータにしていきたいということです。ご指摘ありがとうございます。修正します。

[tiitoi]

画像のリストということですよね。そうであれば、今回は pandas やデータフレームは関係ないと思います。
(read_csv() は zip ファイルを読めるが、あくまで圧縮された csv ファイルが対象で画像を読み込む用途で使うものではない)

> 事前にzipファイルを解凍して、順番にimreadで画像データを数値化して、arrayデータに落とし込んでいく手法の方が無難でしょうか。

圧縮されているデータを元のデータに戻す必要があるので、解凍は必須です。

[yohehe]

tiitoi様、ありがとうございます。zipファイルを解凍せずにアクセスしてデータを取り出していくことは難しいですね。解凍して、画像データを取り出していこうと思います。

Answer 1

zipファイルのまま読み込んでいくことはできなかため、zipファイルを解凍し、解凍ファイルを消すことで解決しました。


import zipfile
with zipfile.ZipFile(train_data_zip) as zip:
    zip.extractall(datafile_dir)
#でzipファイルを読み込んでio.imreadで読み込んだ後に、以下でファイルを消すことで対応しました。

import shutil
#ゴミ箱にいくこともなくデータ削除するため注意を。
#引数として指定できるのはディレクトリを示すパスのみ。ファイルだとエラーになる。
shutil.rmtree(datafile_dir)

ありがとうございました。