Pythonを使用して複数ファイルを解凍したい(Lambda)

Question

前提

表題の通りです。
参考にしたコード(URL:https://qiita.com/kitamuratomokazu/items/2c9fe087dfdca4482788)

import boto3
import zipfile
import traceback
import os

print('Loading function')

s3 = boto3.resource('s3')
s3_client = boto3.client('s3')

def lambda_handler(event, context):

    # Get the object from the event and show its content type
    bucket = event['Records'][0]['s3']['bucket']['name']
    key = event['Records'][0]['s3']['object']['key']

    try: 
        s3_client.download_file(bucket, key, '/tmp/file.zip')
        print('download')
        zfile = zipfile.ZipFile('/tmp/file.zip')
        namelist = zfile.namelist()
        print(namelist)

        for filename in namelist:
            if not os.path.basename('/tmp/'+filename):
                os.mkdir('/tmp/'+filename)
            else:
                f = open('/tmp/' + str(filename), 'wb')
                data = zfile.read(filename)
                f.write(data)
                f.close()
        for filename in namelist:
                s3_client.upload_file('/tmp/'+filename, bucket, key + filename)


    except Exception as e:
        print(e)
        print(traceback.format_exc())

実現したいこと

・AWS環境でLambda⇒S3をトリガーにS3にアップロードしたzipファイルを自動的に解凍したいです。
・前提ではJPGですが、今回の場合ですがzipフォルダーには例えば
testフォルダ
|-A.txt
|-B.xlsx
という階層になっています。
参考にしているコードだとJPGファイル単体をzipファイルを解凍できるのですが
フォルダを挟んだ場合の複数ファイルだとできません。Cloudwatch Logに以下通りのエラーが表示されました。

発生している問題・エラーメッセージ

message
"Loading function

"START RequestId: cfceab81-1e66-4a10-aa0e-a720c613b635 Version: $LATEST

"download

"['test/A.txt', 'test/B.xlsx']

"[Errno 2] No such file or directory: '/tmp/test/A.txt'

"Traceback (most recent call last):

"File ""/var/task/lambda_function.py"", line 33, in lambda_handler

"f = open('/tmp/' + str(filename), 'wb')

"FileNotFoundError: [Errno 2] No such file or directory: '/tmp/test/A.txt'

"END RequestId: cfceab81-1e66-4a10-aa0e-a720c613b635

"REPORT RequestId: cfceab81-1e66-4a10-aa0e-a720c613b635	Duration: 383.95 ms	Billed Duration: 384 ms	Memory Size: 128 MB	Max Memory Used: 73 MB	Init Duration: 408.20 ms	

試したこと

zip解凍後、Lambdaの「/tmp/」に格納される流れですが、「/tmp/」だとOKですが
「/tmp/test」だとディレクトリが見つかりませんと表示されるので、
zipで展開したらファイルを移動させればいいと思い、以下通りにしてみました。

#(5行目に追加)
import shutil
...
        zfile = zipfile.ZipFile('/tmp/file.zip')
        namelist = zfile.namelist()
        print(namelist)

        #(追加部分)展開したファイルをtmp配下に移動する
        shutil.move(namelist, '/tmp/')
        
        for filename in namelist:
            if not os.path.basename('/tmp/'+filename):
                os.mkdir('/tmp/'+filename)
                ...

しかしログには以下通りに出力されました。

message
Loading function

START RequestId: e1e5472e-35a4-461e-a5af-a5c0c204d8ad Version: $LATEST

download

['test/A.txt', 'test/B.xlsx']

stat: path should be string, bytes, os.PathLike or integer, not list

Traceback (most recent call last):

File ""/var/task/lambda_function.py"", line 27, in lambda_handler

shutil.move(namelist, '/tmp/')

File ""/var/lang/lib/python3.9/shutil.py"", line 812, in move

if _samefile(src, dst):

File ""/var/lang/lib/python3.9/shutil.py"", line 220, in _samefile

return os.path.samefile(src, dst)

File ""/var/lang/lib/python3.9/genericpath.py"", line 100, in samefile

s1 = os.stat(f1)

TypeError: stat: path should be string, bytes, os.PathLike or integer, not list

END RequestId: e1e5472e-35a4-461e-a5af-a5c0c204d8ad

REPORT RequestId: e1e5472e-35a4-461e-a5af-a5c0c204d8ad	Duration: 404.88 ms	Billed Duration: 405 ms	Memory Size: 128 MB	Max Memory Used: 74 MB	Init Duration: 431.47 ms	

pythonをよく理解できず仕舞いですみませんが、
複数ファイルを展開する際に解凍したらファイルを/tmpに移動させるのか
または他の方法がよければご指摘頂きますようお願いします。

補足情報（FW/ツールのバージョンなど）

AWS Lambda , Python 3.9

Answer 1

ファイル展開の面倒な部分はpythonが用意してくれているライブラリの機能(ZipFile.extractall)を活用するのがいいのではないでしょうか。サブディレクトリもうまく扱ってくれます。

zfile = zipfile.ZipFile('/tmp/file.zip')
namelist = zfile.namelist()

zfile.extractall('/tmp')

for filename in namelist:
    if os.path.isfile('/tmp/' + filename):
        s3_client.upload_file('/tmp/' + filename, bucket, key + filename)

Comments

[退会済みユーザー]

ご回答頂いた内容で無事実現したいことが叶いました。
ありがとうございました。

Answer 2

追記：
コードの問題と言うより、zipファイルの作り方の問題だったようです。プログラムが想定する作り方があり、それに沿ってなかった。
コメント参照。

下記のコードだと、ディレクトリかどうかの判断をしてないので、逆にディレクトリのエントリーがあると駄目ですね。
残しておきますが、使わないでください。

=== OLD ===
エラーの原因はお察しの通り、/tmp/testが存在しないことです。
コードに、os.mkdirしている部分があるので、「なければ作る」ことをやろうとしたのでしょうが、あるかないかの判定方法も、作る物も間違っています。
ファイル作成がelseにあるのもおかしい。

    dirname = os.path.dirname('/tmp/'+filename)
    if not os.path.exists(dirname):
        os.mkdir(dirname)
    f = open('/tmp/' + str(filename), 'wb')
    data = zfile.read(filename)
    f.write(data)

Comments

[bsdfan]

zipファイルに、サブディレクトリが単体のエントリーとして入っている場合は、質問のコードでうまく動くんだと思います。(ディレクトリの判定はあまりきれいじゃないですが)
ディレクトリを単体のエントリーで入れるか入れないかは、使うアーカイバーによって動作が違っていそうです。

[otn]

なるほど。Linuxのzipコマンドでも、ディレクトリを指定すれば、ディレクトリのエントリーが出来ますね。
ディレクトリエントリーの有無は、あまり意識してなかったです。

ということで、回答としては、file.zip を作る時に、
zip file.zip test/* あるいは zip file.zip test/A.txt test/B.xlsx
のように作るのでなく、
zip -r file.zip test あるいは zip file.zip test test/A.txt test/B.xlsx
のようにして作れば良かったと言うことですね。

失礼しました。

[退会済みユーザー]

zipファイルを作成した時にどうにかすればいいということですね。
記載の通り、zipファイルの中身が単体だと解凍できますが、中身がディレクトリでディレクトリの中に複数ファイルが存在すると展開できません。
解決策についてですがあまりよく理解できず、再度の質問となりすみませんが確認させてください。
＞ s3_client.download_file(bucket, key, '/tmp/file.zip')
この部分でS3からアップロードしたzipファイルを呼び出していますが
＞ zfile = zipfile.ZipFile('/tmp/file.zip')
ここでzipfileモジュールを使って解凍していますが
ここでどのような処理をすればいいのかが理解できずじまいです。
修正箇所が違うようでしたら指摘頂ければと思います。

[otn]

お書きのファイルであれば、回答のプログラムで解凍できます。