Node.jsでfsを使ったファイルコピーができない

Question

#質問
Node.jsのfsで、fallocateコマンドで作った2.5Gバイトのファイルをコピーしようとしました。

fallocate -l 2.5G ~/test.txt

ファイルをコピーするシンプルなスクリプト「test.js」はtest.txtと一緒にホームディレクトリにあり、これはtest.txtをそのままtest2.txtとしてコピーするスクリプトです。

const fs = require('fs');

fs.copyFileSync('test.txt', 'test2.txt');

これを以下のように実行しました。

node test.js

すると500MBくらいコピーしたところでこのようなエラーが発生してしまいます。

internal/errors.js:251
  const [ code, uvmsg ] = errmap.get(ctx.errno);
                                 ^

TypeError: errmap.get is not a function or its return value is not iterable
    at Object.uvException (internal/errors.js:251:34)
    at handleErrorFromBinding (fs.js:112:24)
    at Object.copyFileSync (fs.js:1728:3)
    at Object.<anonymous> (/home/pi/test.js:6:4)
    at Module._compile (internal/modules/cjs/loader.js:778:30)
    at Object.Module._extensions..js (internal/modules/cjs/loader.js:789:10)
    at Module.load (internal/modules/cjs/loader.js:653:32)
    at tryModuleLoad (internal/modules/cjs/loader.js:593:12)
    at Function.Module._load (internal/modules/cjs/loader.js:585:3)
    at Function.Module.runMain (internal/modules/cjs/loader.js:831:12)

先程のスクリプトまたはNode.jsの設定等のどこに問題があるのでしょうか。
#バージョン
Node: v10.20.1
Npm: 6.14.4
OS: Raspberry Pi 3 B+ Ubuntu 18.04(MATE)

Answer 1

**Raspberry Pi 3 B+**ですと搭載メモリ（1GB）の関係で、メモリリークが発生しているのだと思います。

max_old_space_size オプションをつけて起動するというを試してみてはいかがでしょうか。

「NodeJS メモリ上限」(２語)や「NodeJS メモリ上限 オプション」(3語)で検索するとヒントが得られるかもしれません。

• qiita 2016年版 Node.jsで幸せになれる10の習慣 の「７．ゴミを避けろ」セクション
• 0から始めるNode.jsパフォーマンスチューニング
• etc

---

追記）
NodeJS のソースコードまで確認できていませんが、fs.copyFileSync() は、扱うファイルサイズに応じたメモリ領域を要するのかもしれません。

Stream レベルでのコピーも試してみてください。
時間はかかるかもしれませんが、限られたメモリサイズを用いてコピーするはずです。

var fs = require("fs");

// 1. .pipe() で chunk データを渡す方法（今回のご質問内容ですと、こちらが手軽）。
fs.createReadStream('src.txt').pipe(fs.createWriteStream('dest.txt'));

// 2. 昔、書いた愚直にイベントリスナでコピーする方法（1.と同じ様なことをやっています）
var copyFile = ( srcFile, dstFile, callback ) => {
  var stat = fs.statSync( srcFile ), newFile, oldFile;
  if( fs.existsSync( srcFile ) && stat.isFile() ) {
    newFile = fs.createWriteStream( dstFile ); // to
    oldFile = fs.createReadStream( srcFile ); // from
    oldFile.addListener("data", (chunk) => {
      newFile.write(chunk);
    });
    oldFile.addListener("close",() => {
      newFile.end();
      if(callback) {
        callback();
      }
    });
  }
}

#実機試験試験結果:

手元の RaspberryPi3B+ で実験しました。

1. ご質問のコード（エラーで停止）
2. 回答させていただいた pipe() の方法（コピー成功）

※コード内にある console.time() 〜 console.timeEnd() は　2. において追加しました。
非同期であるため意味のないコード（処理開始された時点での反応速度）であり、実際は数分の時間を要しました。

子プロセスを起動してコマンドラインを叩く方法

本題の fs からは離れますが、child_process で cp コマンドも試しました。
バイナリアプリケーションに委譲するのでメモリ管理は不要との考えです

const {exec} = require('child_process');

let cpCommand = ( file1, file2 ) => `cp ${file1} ${file2}`;

let start = Date.now();
exec(cpCommand("test.txt", "test2.txt"), (error, stdout, stderr) => {
  if (error) {
    console.error(`exec error: ${error}`);
    return;
  }
  console.log(`time: ${Date.now()-start} [msec]`);
  console.log(`stdout: ${stdout}`);
  console.error(`stderr: ${stderr}`);
});
// time: 208008 [msec]
// stdout:
// stderr:

SDカードから読み、同一SDカードに複製するのに約5分かかりました。
microSDHC-I での複製は1分あたり500MBが目安かもしれません。
SSDドライブを利用するなど、ハードウェア性能を向上させる方法はあると思いますが、試していません

RaspberryPi は普通のLinuxマシンではありますが、ハードウェア性能は低いので、取り扱うファイルはサイズ上限を定めてシステム構築/運用するのが良いかもしれません。
500MBを超えると、正直、辛いと思います

Comments

[fuji_0055]

ありがとうございます。以下のようにNODE_OPTIONSに--max-old-space-size=2048を付けて実行しました。
NODE_OPTIONS=--max-old-space-size=2048 node test.js
しかしながら、また同じエラーが発生してしまいます。2048という数値が間違っているのでしょうか...

[AkitoshiManabe]

> 2048という数値が間違っているのでしょうか...
node --help でオプションを見ると Mbyte 単位での指定なので、 2GB 指定になっていますね。
--max-old-space-size (max size of the old space (in Mbytes))
ちなみに、ストリームで扱う案も追記しました。

[fuji_0055]

そうなんですか...ラズパイ3ではメモリが苦しそうなのでこのような処理はラズパイ4に任せたいところですね。ありがとうございました。

Answer 2

MacOSで動かしてみましたが、全く問題ありませんでした。
ソースに問題はないですね。
$ node -v
v12.16.1

const fs = require('fs');
const path = require('path');
fs.copyFileSync(path.join(__dirname, 'test.txt'),
                path.join(__dirname, 'test2.txt'));

Comments

[fuji_0055]

ありがとうございます。MacOSで動くということはNode.jsの設定に問題があるのでしょうか。