JavaScript heap out of memoryが発生しました

Question

前提・実現したいこと

加速度センサーのデータをvega-liteを使って可視化させようと試みているのですが、外部からファイルを取得したので1つの文字列になりました。そこで文字列メソッドmatch()を使ってデータを分割取得しようとしたら、先のエラーが発生しました。何か解決方法があれば知りたいです。

使用環境

macOS ver 11.6
node.js ver v16.8.0
express ver 4.16.1

取得したデータ（文字列）

0.001,-0.002,-0.071
0.004,-0.002,-0.073
0.000,0.006,-0.066
-0.008,-0.001,-0.066
-0.009,-0.007,-0.056
0.010,0.002,-0.058
0.006,-0.008,-0.066
***続く…

データを整形するコード

    var Vispc = fetch(url.url)
        .then(res => res.text())
        .then(body => {
            //console.log(body);
            var pattern = /(^\d.*?,\d.*?,\d.*)/g;
            var resultMatch = body.match(pattern);
            console.log("match : " + resultMatch[0])
            var valuesAry = [];
            while(resultMatch != null) {
                var valuesObj = {};
                valuesObj.x = resultMatch[0];
                valuesObj.y = resultMatch[1];
                valuesObj.y = resultMatch[2];
                valuesAry.push(valuesObj);
            }
            console.log("valuesAry" + valuesAry);
        });

発生したエラー

<--- Last few GCs --->

[6745:0x7fc641f00000]   106724 ms: Scavenge 2023.5 (2058.4) -> 2023.3 (2069.2) MB, 12.6 / 0.0 ms  (average mu = 0.158, current mu = 0.114) allocation failure 
[6745:0x7fc641f00000]   106748 ms: Scavenge 2030.3 (2069.2) -> 2031.0 (2069.9) MB, 16.0 / 0.0 ms  (average mu = 0.158, current mu = 0.114) allocation failure 
[6745:0x7fc641f00000]   106772 ms: Scavenge 2031.1 (2069.9) -> 2030.2 (2093.2) MB, 23.8 / 0.0 ms  (average mu = 0.158, current mu = 0.114) allocation failure 


<--- JS stacktrace --->

FATAL ERROR: Ineffective mark-compacts near heap limit Allocation failed - JavaScript heap out of memory
 1: 0x10627bd35 node::Abort() (.cold.1) [/Users/yuta/.anyenv/envs/nodenv/versions/16.8.0/bin/node]
 2: 0x104f71239 node::Abort() [/Users/yuta/.anyenv/envs/nodenv/versions/16.8.0/bin/node]
 3: 0x104f713af node::OnFatalError(char const*, char const*) [/Users/yuta/.anyenv/envs/nodenv/versions/16.8.0/bin/node]
 4: 0x1050efb17 v8::Utils::ReportOOMFailure(v8::internal::Isolate*, char const*, bool) [/Users/yuta/.anyenv/envs/nodenv/versions/16.8.0/bin/node]
 5: 0x1050efab3 v8::internal::V8::FatalProcessOutOfMemory(v8::internal::Isolate*, char const*, bool) [/Users/yuta/.anyenv/envs/nodenv/versions/16.8.0/bin/node]
 6: 0x1052a6a95 v8::internal::Heap::FatalProcessOutOfMemory(char const*) [/Users/yuta/.anyenv/envs/nodenv/versions/16.8.0/bin/node]
 7: 0x1052aaa43 v8::internal::Heap::RecomputeLimits(v8::internal::GarbageCollector) [/Users/yuta/.anyenv/envs/nodenv/versions/16.8.0/bin/node]
 8: 0x1052a73a5 v8::internal::Heap::PerformGarbageCollection(v8::internal::GarbageCollector, v8::GCCallbackFlags) [/Users/yuta/.anyenv/envs/nodenv/versions/16.8.0/bin/node]
 9: 0x1052a4a94 v8::internal::Heap::CollectGarbage(v8::internal::AllocationSpace, v8::internal::GarbageCollectionReason, v8::GCCallbackFlags) [/Users/yuta/.anyenv/envs/nodenv/versions/16.8.0/bin/node]
10: 0x1052a3988 v8::internal::Heap::HandleGCRequest() [/Users/yuta/.anyenv/envs/nodenv/versions/16.8.0/bin/node]
11: 0x105250851 v8::internal::StackGuard::HandleInterrupts() [/Users/yuta/.anyenv/envs/nodenv/versions/16.8.0/bin/node]
12: 0x105630c48 v8::internal::Runtime_StackGuard(int, unsigned long*, v8::internal::Isolate*) [/Users/yuta/.anyenv/envs/nodenv/versions/16.8.0/bin/node]
13: 0x1059ba419 Builtins_CEntry_Return1_DontSaveFPRegs_ArgvOnStack_NoBuiltinExit [/Users/yuta/.anyenv/envs/nodenv/versions/16.8.0/bin/node]
Abort trap: 6

Answer 1

while(resultMatch != null)のループ内で resultMatchの値が変わることはないので、永久ループになってます。

正規表現によるマッチングをループの中に移動する必要があります。MDNのexec()の最初の例やmatchAll()が応用しやすいかと思います。

Comments

[putaro]

回答ありがとうざいます。アドバイスの通り正規表現オブジェクトメソッドexec()を使ったコードに修正したみました。

Answer 2

解決

suwmn50799さんのご助言を参考にコードを修正しました。
正規表現オブジェクトを使用して、区切った値をさらに分割してオブジェクトに代入しています

    var Vispc = fetch(url)
        .then(res => res.text())
        .then(body => {
            //console.log(body);
            // 正規表現
            var myReg = new RegExp('^\d.*?,\d.*?,\d.*','mg');
            var resultMatch = myReg.exec(body);
            var valuesAry = [];
            var cnt = 0;
            
            while(resultMatch != null) {
                var valuesObj = {};
                var splitValueAry;
                //console.log("index " + resultMatch.index +  " match : " + resultMatch[0]);
                
                splitValueAry = resultMatch[0].split(",");
                //console.log("splitValueAry : " + splitValueAry[2]);

                valuesObj.x = splitValueAry[0];
                valuesObj.y = splitValueAry[1];
                valuesObj.z = splitValueAry[2];

                valuesAry.push(valuesObj);

                resultMatch = myReg.exec(body)
            }
            console.log("valuesAry" + JSON.stringify(valuesAry));
        });

結果

出力結果の一部です

  {"x":"0.018","y":"0.034","z":"0.066"},
  {"x":"0.010","y":"0.044","z":"0.079"},
  {"x":"0.018","y":"0.031","z":"0.069"}

Answer 3

var resultMatch = body.match(pattern); んとこで、 resultMatchが resultMatch != null を満たすもんになっとったら、その後resultMatchが変わることはないねんから、while(resultMatch != null) {･･･} のループが無限ループなってしもうてんのやろ。そのせいや。多分。

Comments

[putaro]

回答ありがとうございます。正規表現に関する知識不足でした.。色々調べて解決いたしました