AWS lambdaでサイズの大きいSJISファイルを読み込む

Question

前提・実現したいこと

AWS S3上にファイルが配置された際に起動するLambdaの処理を設計中です。
S3にアップロードされたSJISのファイルを読み込んで、UTF-8に変換するだけの処理なのですが
なるべくLambdaの利用メモリサイズを小さくするために、チャンクサイズ指定や行読み込みなどの処理を行いたいのですが
なかなかいい方法を見つけることができていません。。。
どなたかお知恵を拝借できないでしょうか。

試したこと

・boto3のread().decode()で開いてputで保存
→Lambdaのデフォルトのメモリ量（128MB）では、サイズ50MB程度のファイルでもアウトオブメモリー発生

Answer 1

おはようございます。

問題文確認させていただきました。

以下の解決策を試していただけないでしょうか？

<参考>
・ MemoryError when Using the read() Method in Reading a Large Size of JSON file from Amazon S3

Comments

[tekito3]

返事が遅くなりすみません…
上記URLでファイルの読み込みはできたのですが、S3上で追記書き込みができないため
1．メモリ内ためてまとめてput
2．tmp配下にファイルを作成してアップロード
のいずれかが思い浮かんだのですが
1はアウトオブメモリー、2は512MBのサイズ制限あり、となかなかサイズの大きなものを扱うのが難しそうです。
S3上のファイルに追記書き込みする方法をご存じだったりしますでしょうか？

書き忘れていましたが言語はpythonです。

[退会済みユーザー]

うーん、アップロードがありましたね。。
zipファイルに高めてアップロードくらいしか思いつかないですね。

こちら参考記事になります。
http://www.dcom-web.co.jp/lab/cloud/aws/compress_files_uploaded_to_s3_using_lambda