AWS Lambda S3接続に関するPATH設定 (Python 2.7)

Question

AWS Lambdaでs３からcsvファイルを読み込む関数を書いています.
コードはpython 2.7です.

関数の動作段階で、新しく書き込んだファイルを保存する先のパス設定がおかしくなり以下のエラーが出てきてしまいます。
[Errno 2] No such file or directory: u'/read_csv/write.csv'

保存先はread_csv/write.csvのはずなのですが、なぜu'/read_csv/write.csv'で設定されてしまうのでしょうか.PATHの定義の仕方を色々と試したのですが、うまくいかなかったので、ここで質問させていただいてます.
よろしくお願いします.

###該当のソースコード

from __future__ import print_function

#!/usr/bin/env python
# -*-coding: utf-8 -*-
# cording:utf-8

import boto3  # aws lambda python module
import json
import csv  # csv module
import os
import re
import linecache
# import numpy as np # import numpy module

print('Loading function')


# aws s3 information for connection
s3_client = boto3.client('s3') # .client or .resource

## Event handler------------------------------------------
def lambda_handler(event, context):

    # Get uploded file names
    bucket = event['Records'][0]['s3']['bucket']['name'] # get latest event record happen in s3 bucket
    key = event['Records'][0]['s3']['object']['key'] # get latest put filename
    print(bucket)
    print(key)
    # obj = bucket.Object(key) # get object

    path_tmp = '/tmp/' + os.path.basename(key) # path to the uploded file (filename)
    # path_savefile = re.sub('original_csv/', 'read_csv/', key) # replace the file path
    path_savefile = '/read_csv/' + os.path.basename(key)
    print(path_tmp)
    print(path_savefile)
    
    try:
        # Download the file from s3
        s3_client.download_file(Bucket = bucket, Key = key, Filename = path_tmp)

        # readfile and write file to the new csv file
        
        with open(path_tmp, "r") as f1:  # open file for reading
            with open(path_savefile, "w") as f2:  # open file for writing
                readData = f1.readline()  # read lines one by one and delete /n
                f2.write(readData) # write data to new file
                    
        print('finish create copy')
        
        # Save the file to s3
        s3_client.upload_file(Filename = path_savefile, Bucket = bucket, Key = key)
        print('Succeed in creating a new file')

    except Exception as e:
        print(e)
        # raise e

Comments

[matobaa]

「保存先はread_csv/write.csvのはずなのですが、なぜu'/read_csv/write.csv'で設定されてしまうのでしょうか」とのことですが、疑問点は以下のどちらですか?
1. read_csv の前にスラッシュがついているのが期待と違う
2. u'…'で囲まれているのが期待と違う

[umechan47]

返信ありがとうございます．
疑問点は２のu'…'で囲まれているという点です．

Answer 1

u'...' という表記は、Python2.xにおけるUnicode文字列を意味しています。
この質問の場合、path_savefile に Unicode文字列が格納されているんでしょう。あまり気にしなくていいかと思います。

---

エラーの原因については TaichiYanagiya さんも言及していますが、おそらく open(path_savefile = u'/read_csv/write.csv', "w") as f2 で書こうとしたディレクトリがないことが原因でしょう。

よくある質問#Lambda関数 によれば

Q: AWS Lambda 関数のためにディスクにスクラッチスペースが必要な場合はどうすればよいですか?
A: 各 Lambda 関数では /tmp ディレクトリに 500 MB の容量を割り当てることができます。

とのことなので、つまり、path_savefile を /tmp/write.csv.cloned のように作ればよいでしょう。

---

しかし、単にS3オブジェクトを別のバケットや別キーとしてコピーしたいだけなら、S3.Client.copy_object を使えばいいでしょう。一時ファイルを作ってコピーしようとした場合、作業領域が500MBなので、その半分のサイズしか使えないですし、複数の処理が同時に走った場合など、もっと狭くなってしまう可能性がありますし、質問にあるプログラムだと掃除してないのでゴミも溜まってしまうでしょうけれど、このAPIであれば、そんなサイズの制約を受けずにつかえるかと。

Comments

[umechan47]

TaichiYanagiyaさんと同様解答ありがとうございました。おかげで解決しました！
tmp側の作業領域が500MBまでだとは知らなかったです。
今後に活用させていただきます。

Answer 2

「u」が付く原因はわかりませんが、エラーの内容は /read_csv/ ディレクトリが存在しないからだと思います。
lambda function の実行環境として、裏でテンポラリーな EC2インスタンスが起動しているのだとすると、/tmp/ は Linux にもともと存在するのでいいのですが、/read_csv/ は lambda function 側で作成する必要があるのではないでしょうか。

(訂正)
lambda function の実行ユーザーは root ではなく一般ユーザーですので、/read_csv/ ディレクトリは作成できないのでした。
matobaa さんの回答のとおり、/tmp/ を使うといいと思います。
「/tmp/別ファイル名」でも、「/tmp/read_csv/」を作成しても。

Comments

[umechan47]

解答ありがとうございました！S3側でのフォルダーを作成し忘れていたことが原因だったようです.