node.js express で multipart/formdataを受け取り、別サーバーへ送った1分後に通信が切れる

Question

expressのapiサーバーでクライアントからmultipart/formdataを受け取りmulterモジュールを用いて一度ディスクへストレージしたファイルたちを再度別のサーバーに送る際に、きっちり1分後(別のサーバーへpost requestを送った直後から数えて)webサーバー側で下記のエラーが発生します。送り先のサーバーではエラーは起きず、streamを待っている状態でストップします。
streamを送っているのですが、1分たつまではちゃんとチャンクが届いております。

webサーバー、apiサーバーはローカル環境（windows 10 pc）にてたてております。
送り先の別サーバーはレンタルサーバー(linux centos7)です。

色々と試しましたが、なにが原因かつかめません。
また、webサーバー、apiサーバーもレンタルサーバーでたてて本番環境でも試しましたが、webサーバー側でエラーはでないものの同様に1分で接続が切れてしまいます。(ブラウザでは
Error: Network Error
at t.exports (app.1587455.js:2)
at XMLHttpRequest._.onerror (app.1587455.js:2)
Failed to load resource: net::ERR_CONNECTION_RESET
というエラーが出ます。
)
毎回1分でエラーが出るので何かしらのタイムアウトなのかなと思っておりますが、
どなたか詳しい方、なにか原因の候補として考えられることはありますでしょうか。
ご教授よろしくお願いいたします。

Unhandled rejection RequestError: Error: socket hang up
    at new RequestError (E:\hiroki\works\NUXT\h_html\node_modules\request-promise-core\lib\errors.js:14:15)
    at Request.plumbing.callback (E:\hiroki\works\NUXT\h_html\node_modules\request-promise-core\lib\plumbing.js:87:29)
    at Request.RP$callback [as _callback] (E:\hiroki\works\NUXT\h_html\node_modules\request-promise-core\lib\plumbing.js:46:31)
    at self.callback (E:\hiroki\works\NUXT\h_html\node_modules\request\request.js:185:22)
    at Request.emit (events.js:327:22)
    at Request.EventEmitter.emit (domain.js:482:12)
    at Request.onRequestError (E:\hiroki\works\NUXT\h_html\node_modules\request\request.js:877:8)
    at ClientRequest.emit (events.js:315:20)
    at ClientRequest.EventEmitter.emit (domain.js:482:12)
    at Socket.socketOnEnd (_http_client.js:453:9)
    at Socket.emit (events.js:327:22)
    at Socket.EventEmitter.emit (domain.js:482:12)
    at endReadableNT (_stream_readable.js:1221:12)
    at processTicksAndRejections (internal/process/task_queues.js:84:21)
From previous event:
    at Request.plumbing.init (E:\hiroki\works\NUXT\h_html\node_modules\request-promise-core\lib\plumbing.js:36:28)   
    at Request.RP$initInterceptor [as init] (E:\hiroki\works\NUXT\h_html\node_modules\request-promise-core\configure\request2.js:41:27)
    at new Request (E:\hiroki\works\NUXT\h_html\node_modules\request\request.js:127:8)
    at request (E:\hiroki\works\NUXT\h_html\node_modules\request\index.js:53:10)
    at E:\hiroki\works\NUXT\h_html\server\file.js:105:5
    at Immediate.<anonymous> (E:\hiroki\works\NUXT\h_html\node_modules\multer\lib\make-middleware.js:53:37)
    at processImmediate (internal/timers.js:458:21)
    at process.topLevelDomainCallback (domain.js:137:15)

クライアントから送られてきたファイル達を読み込みstreamをwebサーバーから別のレンタルサーバーに送る

var allfiles = [];
    fileNameStore.forEach((value) => {
      allfiles.push(fs.createReadStream(`./${folderName}/${value}`))
    })
  
    let data = JSON.parse(req.body.data)
    var formData = {
      "data": req.body.data,
      "file": allfiles,
    }

    var options = {
      url: `${process.env.DB_API}/uploadGame`,
      method: "POST",
      formData: formData,
      headers: {
        "Content-Type": "multipart/form-data"
      }
    }

    console.log("Just before request")
    requestPromise(options)
      .then(function (body) {
        fileNameStore.forEach((value) => {
          fs.unlink(`./${folderName}/` + value, function (err) {
          });
        })
        console.log("Game send done")
             res.send("Fin")
      })
      .catch(function (err) {
        fileNameStore.forEach((value) => {
          fs.unlink(`./${folderName}/` + value, function (err) {
          });
        })
         throw (err)  //←ここのエラー
      });

streamをレンタルサーバーで受け取る

app.post("/uploadGame", (req, res, err) => {
    var busboy = new Busboy({ headers: req.headers });
    var txtdata
    var totalsize = 0
    console.log("1")

    busboy.on('field', (fieldname, val, fieldnameTruncated, valTruncated, encoding, mimetype) => {
        console.log("2")
        txtdata = JSON.parse(val)
        console.log(txtdata)
    });
    busboy.on('file', (fieldname, file, filename, encoding, mimetype) => {
        console.log("3")
        file.on('data', function (data) { 
            console.log(data)
            totalsize += data.length
            console.log(totalsize)
        });
        file.on('end', function () {
            console.log("file end")
        });

        
            var thisPath = txtdata.file_paths.filter(function (v, index) {
                if (v.name == filename) return true;
            })[0].path
            let savePath = "./games/" + String(txtdata.game_id) + "/build/" + getRidOf(thisPath);
            let makePath = "games/" + String(txtdata.game_id) + "/build/" + getRidOf(thisPath) + "/"
            // .then(() => {
            fs.mkdirsSync(makePath)
            file.pipe(fs.createWriteStream(savePath + "/" + filename.split(".Date_Now0721.")[1]))
              
    });
    busboy.on('finish', function () {
        console.log("fin")
        res.writeHead(200, { 'Connection': 'close' });
        res.end("That's all folks!");
    });
    return req.pipe(busboy);
});

Comments

[退会済みユーザー]

uploadがデカすぎ長すぎとかそういうことでは？
とりあえずレンタルサーバーの運営に聞きましょう

[h451]

聞いてみましたが、「会社としてはお使いのサーバーにpingで接続確認できているのであとのサーバーのカスタマイズはお客様しだいです。」というような感じで返事が帰ってきました。
レンタルサーバーの会社がセキュリティ設定かなにかをしていて、貸しているvpsサーバーへのpostリクエストが長いと通信を切っているというようなことは通常あり得るのでしょうか？

[h451]

すいません、vpsサーバーの根本的な仕組みが分かっておらず
僕のイメージとしてはvpsサーバーを包括するサーバーのセキュリティ設定かなにかによって子であるレンタルvpsサーバーの通信が切断されているのかなと考えているのですが。

[退会済みユーザー]

よくある言葉の使い方として、レンタルサーバーというのは、VPSを指さない、共有サーバーのことだと思っていました。VPSだったんですね。それだと管理会社は関係ない可能性が高いですね。uploadを受けている側のサーバーはexpressですか？
環境、バージョンなどを詳しくお書きください。
またそのサーバーでのエラーメッセージがあればそれも貼ってください。

[h451]

ちなみに、ほかの会社のレンタルサーバーも借りており、そちらで同じos、その他構築でpostリクエストを送ったところ何分たっても切断されずに最後まで送り切ることができました。
そのため、この1分後の切断現象はレンタルサーバー会社側の外部的要因ではないかと考えました。

[退会済みユーザー]

そうなんですね。いずれにしても受けてる側がどういうメッセージを出しているか次第かと思います。

[h451]

何度も返信いただきありがとうございます。
os は linux centos7 7.8.2003でnode.js の express: 4.17.1 でmulterというモジュールを使って受けております。
ブラウザ側からファイルをpostした時、express側でエラーは出ず、multerがストリームをパースしている途中で止まっているようです。
1分後、通信が切れたのかブラウザ側で再度postが実行されmulterは同じstreamをパースします。
しかしまたもや1分で接続が切れ、二回連続で切れたためかブラウザ側はpostを送りなおさす、
Error: Network Error
at t.exports (app.1587455.js:2)
at XMLHttpRequest._.onerror (app.1587455.js:2)
Failed to load resource: net::ERR_CONNECTION_RESET

というエラーを表示させます。
この時express,multer側ではなんのエラーも出ていません。streamが途中で止まったような挙動です。

[退会済みユーザー]

まだmulterは待ってる感じだということですね。。。
状況を管理会社のサポート窓口に伝えて、ネットワーク的な制約がないか確認した方がいいかもです。
クライアント側ではRESETを検出していて、サーバー側がまだ待ってるということは途中でぶち切られた可能性が高いと思います。それでもダメだともっと簡単な証拠を用意して問い詰めるか、別のサービスを使うかかと思います。

[h451]

ありがとうございますm(-_-)m
海外のvpsサーバーを借りており、問い詰めるのが難しそうなので別のサービスを使って試してみようと思います。
長くお付き合いいただきありがとうございました。大変たすかりました。

Answer 1

外部的要因により通信が切断された可能性が高いので、別のレンタルサーバーサービスを使いたいと思います。
Dameo様、ご意見ありがとうございました。