Node.js https モジュールでUnicodeのデコード失敗が発生している

Question

前提・実現したいこと

AWS Lambdaで、Webサイトの更新を検知する仕組みを作っています。
Webサイトのコンテンツを取得し、ハッシュ値を取って、保存してある値と比較することで更新を検知しています。

また、同様の仕組みをPHPを用いて動かしていますが、Lambda側のみで更新判定が発生する事象が発生しています。

発生している問題・エラーメッセージ

PHPとLambdaそれぞれが生成するmd5ハッシュですが
Lambda側のみで更新判定が発生するタイミングでは、PHP側とmd5ハッシュが異なります。
次の実行の際には、PHPが生成するハッシュと同じ値に戻っています。
調べた限りでは、Node.jsの側でデコードの失敗が発生しているようです。

該当のソースコード

PHP側ではfile_get_contents関数の戻り値をmd5ハッシュして判定しています。

$content = file_get_contents("https://" . $host . $path);

Node.js側では、httpsモジュールで取得したコンテンツをmd5ハッシュして判定してます。

function getRemoteContent(host, path) {
    return new Promise((resolve, reject) => {
        let _data = "";
        let req = https.request({
            host: host,
            path: path,
            port: 443,
            method: 'GET'
        }, function (res) {
            res.on('data', (chunk) => {
                _data += chunk;
            })
            res.on('end', function () {
                resolve(_data);
            })
        })
        req.end();
    })
}
// メインのハンドラでの呼び出し
let content = await getRemoteContent(host, path);

試したこと

Lambda側で、更新判定が発生した際にはS3にコンテンツを記録する仕組みを追加し、ダウンロードしてdiffを取ってみました。
更新判定となるとき

<E3><81><AD><E3><81><BE><EF><BF><BD><EF><BF><BD><EF><BF><BD><E3><80><82></li>

更新判定とならないとき

<E3><81><AD><E3><81><BE><E3><81><99><E3><80><82></li>

更新判定とならないときに現れる、
<E3><81><99>というバイト列が、<Ef><BF><BD> ×3 になっています。
EFBFBDというバイト列は、デコードが失敗した際に現れる文字列のようです。
(参照) http://www.pppea.com/triflesthings/efbfbd.html
どのような呼び出し方をするとデコードの失敗を防げるのでしょうか。
あるいは、<E3><81><99>が正しくデコードされない原因はどのような点でしょうか。

Answer 1

下記のように、
0. レスポンスに対してsetEncoding()を設定し、
0. chunkに対してtoString()で読み取ってあげると
問題なくデコードできました。現在チェックしているサイトはutf-8なのでこれで問題ないですが、サイトによってエンコードが異なる場合は別のアプローチが必要かもしれません。

function getRemoteContent(host, path) {
    return new Promise((resolve, reject) => {
        let _data = "";
        let req = https.request({
            host: host,
            path: path,
            port: 443,
            method: 'GET'
        }, function (res) {
            res.setEncoding('utf8'); //変更箇所1
            res.on('data', (chunk) => {
                _data += chunk.toString(); //変更箇所2
            })
            res.on('end', function () {
                resolve(_data);
            })
        })
        req.end();
    })
}