GCSでのファイル解凍について

Question

GoogleCloudStrage(以下GCS)にて、ローカルからtar.gz形式でアップロードしたフォルダをGCS上で解凍したいです。
ファイル容量としては6~8GB程度(圧縮前)なのでCloudFunctionsで解凍するのは現実的に難しいかなと考えています。
(CloudFunctionsの場合ファイルをDLする場合メモリ領域を保存領域として扱うため)

    def open_targz(self):
        with tarfile.open(str(self.targetfolder)+'.tar.gz') as targz:
            targz.extractall()

ローカルから未圧縮のフォルダ送信は帯域的な問題上叶いませんでした。
帯域負荷かけずにGCP上で完結して解凍する方法ありませんでしょうか。

Answer 1

GCS にあるオブジェクトを展開して GCS に配置する、はおそらくできないと思います (そういう API はないはず)。

ダウンロード時に展開できればよいなら下記など。
https://cloud.google.com/storage/docs/transcoding

ファイル容量としては6~8GB程度(圧縮前)なのでCloudFunctionsで解凍するのは現実的に難しいかなと考えています。

Cloud Shell で下記を実行したところ 3分程度でした。foo.gz: 750MB、foo: 5.3GB でした。

gsutil cp gs://mybucket/foo.gz - | gzip -d | gsutil cp - gs://mybucket/foo

sliced_object_download_max_components や parallel_composite_upload_threshold などのオプションをつければさらに速くなるかもしれません (ならないかも)。