質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

ただいまの
回答率

90.42%

  • JavaScript

    18022questions

    JavaScriptは、プログラミング言語のひとつです。ネットスケープコミュニケーションズで開発されました。 開発当初はLiveScriptと呼ばれていましたが、業務提携していたサン・マイクロシステムズが開発したJavaが脚光を浴びていたことから、JavaScriptと改名されました。 動きのあるWebページを作ることを目的に開発されたもので、主要なWebブラウザのほとんどに搭載されています。

  • ImageMagick

    106questions

    ImageMagickとは、画像の表示や操作を行うオープンソースのソフトウェアです。プログラムはCで書かれており、GIFやJPEG、PDFなど画像ファイルフォーマット100種類以上に対応しています。

[AWS Lambda, 画像リサイズ] S3のある一つのバケットに存在する全ての画像のサムネイル作成で発生するエラーに関して

解決済

回答 1

投稿

  • 評価
  • クリップ 0
  • VIEW 42

komo_ta

score 237

はじめに

AWS Lambdaを使って、ある一つのバケット内にある画像全てのサムネイルを生成する関数を作成しておりまして、その処理に関わる質問になります。

問題

下記のコードをラムダで実行し、バケット内の画像を一つずつ取得しその画像のサムネイルを作成した後に別のバケットにアップロードする処理を行っておりまして

var async = require('async');
var AWS = require('aws-sdk');
var gm = require('gm').subClass({ imageMagick: true }); // Enable ImageMagick integration.
var util = require('util');
var path = require('path');

// get reference to S3 client
var s3 = new AWS.S3();

exports.handler = function(event, context) {

    var bucket = "develop-hoge-files";
    var items = [];
    // 関数の箱を入れる箱
    var imageFns = [];
    var params = {
        Bucket: bucket,
        Prefix: "images/"
    };
    s3.listObjects(params, function(err, data) {
        if (err)
            console.log(err, err.stack); // an error occurred
        else
            for (var i = 0; i < data.Contents.length; i++) {
                if (data.Contents[i].Key.match(".jpeg") && data.Contents[i].Key.match("images/")) {
                    // こうすることでimagesの中にkey引数を束縛した関数が次々と飛び込んでいく
                    var imageFn = imageResizeUpload(data.Contents[i].Key);
                    imageFns.push(imageFn);
                }
            }
        async.waterfall(imageFns, function(err) {
            if (err) console.log(err);
            console.log('完了');
        });
    });

};

function imageResizeUpload(key) {
    return function(next) {
        // 旧imageResizeUploadとほぼ同じ挙動だが、最後にnext()と実行する作りに変更
        async.waterfall([
            function download(next) {
                // Download the image from S3 into a buffer.
                s3.getObject({
                        Bucket: "develop-hoge-files",
                        Key: key
                    },
                    next);
            },
            function transform(response, next) {
                gm(response.Body).size(function(err, size) {
                    var width = 640;
                    var height = 480;

                    // Transform the image buffer in memory.
                    // 比率をそのままにリサイズし、左右に黒帯をつける.
                    this.resize(width, height)
                        .toBuffer("jpeg", function(err, buffer) {
                            if (err) {
                                next(err);
                            }
                            else {
                                next(null, response.ContentType, buffer);
                            }
                        });
                });
            },
            function upload(contentType, data, next) {
                // Stream the transformed image to a different S3 bucket.
                s3.putObject({
                    Bucket: "develop-hoge-files",
                    Key: key.replace("images", "test-thumbnail-images"),
                    Body: data,
                    ContentType: contentType
                }, next);
            }
        ], function(err) {
            if (err) {
                console.log(err);
            }
            else {
                console.log("success");
            }
            next();
        });
    }
}

ほとんどの画像の変換とアップロードに成功するのですが、一部 Stream yields empty buffer lambda gm というエラーが出まして、

下記の記事を参考に対象の関数を以下のように変えたところ(変えた部分だけ載せます)、
Lambdaで画像のサムネイルを作る [Stream yields empty buffer対策済]

gm(response.Body).size(function(err, size) {
                    var width = 640;
                    var height = 480;

                    // Transform the image buffer in memory.
                    // 比率をそのままにリサイズし、左右に黒帯をつける.
                    this.resize(width, height)
                        .stream(function(err, stdout, stderr) { // ストリームで出力する
                            if (err) {
                                console.log("gm process error");
                                console.log(err, stdout, stderr);
                                context.fail(err);
                            }
                            var chunks = []; // ストリームのチャンクを溜め込むための配列
                            stdout.on('data', function(chunk) {
                                console.log('===========pushed=============');
                                chunks.push(chunk); // チャンクを溜め込む
                            });
                            stdout.on('end', function() {
                                var buffer = Buffer.concat(chunks);
                                next(null, response.ContentType, buffer);
                            });
                        });
                });

下記の画像のように0KBで保存されました。(上記のエラーが出てなかったものに関しては、サムネイルの作成に成功しています)

イメージ説明
.stream(function(err, stdout, stderr) { / のコールバックで返ってくる、stdoutやstderrなどを調べましたが原因となりそうな情報を見つけられませんでした。どなたかわかる方おりませんでしょうか?
ちなみに画像の大きさによっては、上記の現象は変わらなそうでした。

どうぞよろしくお願いいたしますm(_ _)m

  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

回答 1

checkベストアンサー

0

目星をつけるために、まずはもっともっとミニマルな構成で試すべきです。

  • S3からエラーが出る画像ファイルをローカルに持ち帰る
  • 拡張子詐欺じゃないか、バイナリエディタで開いて先頭付近の数十バイトを調査してみる(画像ファイルの特徴はぐぐれば出る)
  • 素のImageMagickを使ってサムネ画像の生成を試みる
  • Node.jsのfsとgmモジュール使ってローカルでサムネ画像の生成を試みる

まずはこれ全部やってみて下さい。
恐らく何処かで躓くでしょうから、それを元に更に調査して絞り込んで行きましょう。


正直今のままでは画像ファイルはない、エラーもなし、なんか変なラッパー使ってる
「これで出来ません」ってじゃあ誰ならどうやって答えられるんだ状態です。

画像ファイルは機密情報だから公開出来ない情報でしょうし、
秘密保持契約交わして、金もらって変わりに上記の仕事を受けるという感じの流れになるのは確実ですからね。
この質問文のままではクラウドワークスで発注しないと解決出来ないと思います。

最終的にまたteratailに戻ってくる可能性はありますが、
汎用的な問題に咀嚼できるよう、まずは出来る事を一つずつ潰していきましょう。

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2019/01/11 17:46

    了解です、ありがとうございます!

    キャンセル

同じタグがついた質問を見る

  • JavaScript

    18022questions

    JavaScriptは、プログラミング言語のひとつです。ネットスケープコミュニケーションズで開発されました。 開発当初はLiveScriptと呼ばれていましたが、業務提携していたサン・マイクロシステムズが開発したJavaが脚光を浴びていたことから、JavaScriptと改名されました。 動きのあるWebページを作ることを目的に開発されたもので、主要なWebブラウザのほとんどに搭載されています。

  • ImageMagick

    106questions

    ImageMagickとは、画像の表示や操作を行うオープンソースのソフトウェアです。プログラムはCで書かれており、GIFやJPEG、PDFなど画像ファイルフォーマット100種類以上に対応しています。

  • トップ
  • JavaScriptに関する質問
  • [AWS Lambda, 画像リサイズ] S3のある一つのバケットに存在する全ての画像のサムネイル作成で発生するエラーに関して