google drive内における大容量.zipファイルの解凍をしたい(kaggle)

Question

前提・実現したいこと

8GBの.zipファイルをgoogle drive内で解凍し、そのデータをgoogle colab(pro)で読み込んで、pythonによるGPUを使ったディープラーニングの学習をしたいと考えています。

発生している問題・エラーメッセージ

現在データサイエンスコンペであるkaggleに参加していますが、参加しているコンペのデータ・モデルの特徴上、GPUを使った学習でも1エポック5時間以上かかるようなので、google colab proの登録及び、google driveの容量を100GBに拡張しました。
kaggleからAPIを用いてgoogle drive内に.zipファイルをダウンロードをするところまではうまくいったのですが、以下の3つの手法を試しても解凍がうまくいきません。
※なお自分のPCでは正常に解凍が完了することは確認しました。

試したこと

①google colabにおいて、!unzip ZIPファイルPATH -d 解凍先PATH(google drive内)を実行
→google drive内のファイルが多すぎるとのエラー（容量には80GB以上の余裕あり）

②zip extractorを使用
→何度やっても完了直前にgoogle chromeの応答がなくなる(これはintel xeon, メモリ32GBのパソコンで試してみても同様でした)

③自分のPCで解凍してからgoogle driveにコピー
→3日たった現在でも完了しない

補足

.zipファイルには、400万枚の画像と.csvが3ファイル入っています。

.zipファイルのままでも学習を行えるなど、代案があればそれでも構いません。
ご教示いただけると幸いです。

Answer 1

ベストな方法かどうかわかりませんが、zipファイルを展開せずに、中身を読み込む方法です。
zipfileモジュールを使います。
https://docs.python.org/ja/3/library/zipfile.html

具体的にどういう処理をしたいかわからないので、参考までにこんな感じです。

import zipfile
import pandas as pd
from PIL import Image

with zipfile.ZipFile('data.zip', 'r') as zf:
    with zf.open('foo/bar.csv', 'r') as f:
        df = pd.read_csv(f)

data = []
with zipfile.ZipFile('data.zip', 'r') as zf:
    for name in zf.namelist():
        if 'foo' in name and name.endswith('.jpg'):
            with zf.open(name, 'r') as f:
                data.append(Image.open(f))

上は foo/bar.csv という名前でzipに入っているファイルをpandasで読み込んでいます。

下は foo/*.jpg とか */*foo*.jpg みたいな、名前にfooを含んで.jpgで終わるファイルをPILで読み込んでリストに入れていく処理です。

Comments

[ssk1]

なるほど、ありがとうございます。
他に解決策がなさそうでしたら、zipfileモジュールを試してみたいと思います。