s3にアップロードした画像を、boto3でkeyを取得すると、謎の文字列がくっついてきてしまいます・・・

Question

###前提・実現したいこと
お分かりの方、ご回答いただけますと大変助かりますm(_ _)m

私は現在、s3にアップロードした画像を画像処理するスクリプトをpythonで書いておりますが、boto3でkeyを取得すると、謎の文字列がくっついてきてしまい、splitなどでもとることができない状態で困っております。この現象と対策お分かりのかたいらっしゃいますでしょうか？？

IOError: [Errno 2] No such file or directory: '/media/test.jpg.dAAAfd01'

###該当のソースコード(py2.7です)

s3 = boto3.client('s3')

for record in event['Records']:
		bucket = record['s3']['bucket']['name']
		key_with_extention = str(record['s3']['object']['key'])
		key = key_with_extention.split(".")[0] + "." + key_with_extention.split(".")[1]
		download_path = '/tmp/{}'.format(key)

		s3.download_file(Bucket=bucket, Key=key ,Filename=download_path) #ここでエラーがでます

###試したこと

key_with_extention = str(record['s3']['object']['key'])
は複数パターン試しました。

・strつけないで実行
key_with_extention = record['s3']['object']['key']

・urllib.unquote_plus(event['Records'][0]['s3']['object']['key'])

・urllib.unquote_plus(event['Records'][0]['s3']['object']['key']).decode('utf8')

###補足情報(言語/FW/ツール等のバージョンなど)
ヒントになりそうな点があります。
'/media/hoge/hoge/test.jpg.dAAAfd01','/media/test.jpg.dAAAfd01' とs3の内部にディレクトリを作った中に画像をアップしたときだけに起きます。
s3の一番上のディレクトリだと(パスが'test.jpg'のみ)、エラーなく稼働しています。

key = '/media/hoge/hoge/test.jpg.dAAAfd01'
のはずなのに、key.split(".")[0]でも分割されないんです・・・これも何かヒントになりそうな気もするのですが・・・う〜ん 困っています・・・・

もう一点ヒントになるかわからないのですが、ｓ３コンソール上だとtest.jpgとだけ出ていて、boto3からアクセスしたときだけに謎も文字列がくっついてきています。

どなたかお力添えくださると大変助かります・・・

Answer 1

調べ続けた結果、AWS lambda特有のしばりが原因でした。

AWS lambdaの作業可能ディレクトリはtmpのみなのですが、tmpでは複数階層になっているディレクトリをos.makedirsで作るとエラーになる設定になっているようで、

s3.download_file(Bucket=bucket, Key=key ,Filename=download_path) の
download_pathが階層になっているとエラーになるということがわかりました。

なのでdownload_pathを単にdownload_path = "tmp/test.jpg" にすれば問題が解決しました、ありがとうございましたm(_ _)m

Comments

[lazhuward]

本当ですね。これは知らなかったな。
http://stackoverflow.com/questions/39569718/io-error-in-boto3-download-file

[k_mawa82]

考える上で大きなヒントになりました、ありがとうございましたm(_ _)m

Answer 2

もしかしたらBOMかな。
ソースをUTF-8のBOMなしで保存してUPしてもらえませんか？
こちらで確認したら動きましたよ。

Runtime: Python 2.7

#lambda_function.py
from __future__ import print_function

import boto3
import json
import urllib

print('Loading function')

s3 = boto3.client('s3')

def lambda_handler(event, context):
    bucket = event['Records'][0]['s3']['bucket']['name']
    key = urllib.unquote_plus(event['Records'][0]['s3']['object']['key'].encode('utf8'))
    print(bucket)
    print(key)
    try:
        key = key.split(".")[0] + "." + key.split(".")[1]
        download_path = '/tmp/{}'.format(key)
        print(key)
        print(download_path)
    except Exception as e:
        print(e)
        print('Error getting object {} from bucket {}. Make sure they exist and your bucket is in the same region as this function.'.format(key, bucket))
        raise e

{
  "Records": [
    {
      "eventVersion": "2.0",
      "eventTime": "1970-01-01T00:00:00.000Z",
      "requestParameters": {
        "sourceIPAddress": "127.0.0.1"
      },
      "s3": {
        "configurationId": "testConfigRule",
        "object": {
          "eTag": "0123456789abcdef0123456789abcdef",
          "sequencer": "0A1B2C3D4E5F678901",
          "key": "/media/hoge/hoge/test.jpg.dAAAfd01",
          "size": 1024
        },
        "bucket": {
          "arn": "arn:aws:s3:::_____YOUR_BUCKET_____",
          "name": "_____YOUR_BUCKET_____",
          "ownerIdentity": {
            "principalId": "EXAMPLE"
          }
        },
        "s3SchemaVersion": "1.0"
      },
      "responseElements": {
        "x-amz-id-2": "EXAMPLE123/5678abcdefghijklambdaisawesome/mnopqrstuvwxyzABCDEFGH",
        "x-amz-request-id": "EXAMPLE123456789"
      },
      "awsRegion": "_____YOUR_REGION_____",
      "eventName": "ObjectCreated:Put",
      "userIdentity": {
        "principalId": "EXAMPLE"
      },
      "eventSource": "aws:s3"
    }
  ]
}

#result
 /media/hoge/hoge/test.jpg.dAAAfd01
 /media/hoge/hoge/test.jpg
 /tmp//media/hoge/hoge/test.jpg     #BUG: Error here.

Comments

[k_mawa82]

アドバイスありがとうございます！今から試してみます！！m(_ _)m

[k_mawa82]

何回かトライしたのですが、splitが動いてない状況ですが、今バイナリエディタでBOMが本当に取れているか確認しようとしています。ありがとうございますm(_ _)m

[k_mawa82]

何度かトライしたのですが、splitがまだ機能していないようです・・・ヒントいただけて大変ありがたく思っています。m(_ _ )m 引き続き調べてみます^^

[k_mawa82]

BOMは取れていることは確認できたのですが・・・