javascriptのwaitに関する質問です。

Question

###前提・実現したいこと

以下のコードでサーバーのGPUの状態をsshコマンドを用いて
得ようとしているのですが、arrayの中身がundefiedであるというエラーがでてうまくいきません。
問題点は、まだarrayの中に情報が入っていないのにもかかわらず、
sliceをしてしまっていることです。
解決法として、arrayの中にきちんと要素が入ってから
slice処理を行うということをしたいのですが、
どのようにすれば良いのかわかりません。

よろしくお願いします。
###発生している問題・エラーメッセージ

Uncaught TypeError: Cannot read property 'slice' of undefined

###該当のソースコード

function query_gpu(gpu_name, array){
        var SSH = require('simple-ssh');
        var ssh = new SSH({
            host: gpu_name,
            user: 'name',
            pass: 'pass'
        });

        ssh.exec('nvidia-smi --query-gpu=utilization.gpu --format=csv', {
            out: function(stdout) {
                array.push(stdout)
                console.log(stdout)
            }
        }).start()

    }




    var a = [];
    

    query_gpu('tai', a);
    array[1] = Number(array[1].slice(0,2));
    array[2] = Number(array[2].slice(0,2));

###試したこと
// Mixing jQuery and Node.js code in the same file? Yes please!

$(function(){

function query_gpu(gpu_name, array, callback) {

var SSH = require('simple-ssh');
var ssh = new SSH({
host: gpu_name,
user: 'name',
pass: 'pass'
});

ssh.exec('nvidia-smi --query-gpu=utilization.gpu --format=csv', {
out: function(stdout) {
array.push(stdout)
debugger;
console.log(stdout)
callback();
}
}).start()
}

var a = [];
query_gpu('tai', a, function() {
// ここに取得したデータについての処理を全て書く
a[1] = Number(a[1].slice(0, 2));
a[2] = Number(a[2].slice(0, 2));
});

});

を走らせてみて途中のstdoutの結果を見ました。
'''
utilization.gpu [%]
0 %
99 %
'''
と複数行で３つの値が来ることを期待していたのですが、実際は初めのutilization.gpu [%]だけでした。

###補足情報(言語/FW/ツール等のバージョンなど)
nodeのsimple-ssh

Comments

[turbgraphics200]

JSでsshコマンドを実行するということは何らかのライブラリやツールを使用していると思いますが、使用しているライブラリもしくはツールを記載してください。

[turbgraphics200]

あと、nvidia-smi --query-gpu=utilization.gpu --format=csv　を実行した、実際の標準出力の結果を記載してください。

[neil]

sshを使用しているライブラリーはnodeのsimple-sshというものです。nvidia-smi --query-gpu=utilization.gpu --format=csvの出力結果はutilization.gpu [%] 0 % 97 %というような3つのstringです。

[turbgraphics200]

このコメントにではなく、質問内容に追加してください。また、出力結果はコピペしてそのまま記載してください

[turbgraphics200]

出力結果は utilization.gpu [%] 0 % 97 % が一行となるのでしょうか。それとも複数行になるのでしょうか。出力結果はわかりやすくコードと同様に```で囲ってください。

[neil]

コマンドラインで打つと複数行になります

[kei344]

質問文のコードはそれぞれコードブロックで囲んでいただけませんか？ ```（バッククオート3つ）で囲み、前後に改行をいれるか、コードを選択して「<code>」ボタンを押すとコードブロックになります。

Answer 1

JavaScriptにはwaitという概念はありません。ファイルやDBの取得や実行、通信などの通常は待ちが発生するような処理は、開始と共にバックグラウンドで行われ、終了を待たずに次のコードへ進みます。これを非同期処理と言います。取得内容を使用するには、ファイルの取得等が終了した後に実行されるコールバック関数で全ての処理をする必要があります。

※ Node.jsのfs等には、処理を待ってくれるsync系のメソッドも一部だけ存在します。

simple-sshも同様で、コールバック内でしか、その結果を利用できません。今回のコードでは、outで指定しているコールバック内で全て処理するか、処理する関数をコールバック内から呼び出す必要があります。次のように書きかえれば、sshでの取得内容を利用できるようになります。

function query_gpu(gpu_name, array, callback) {
  var SSH = require('simple-ssh');
  var ssh = new SSH({
    host: gpu_name,
    user: 'name',
    pass: 'pass'
  });

  ssh.exec('nvidia-smi --query-gpu=utilization.gpu --format=csv', {
    out: function(stdout) {
      array.push(stdout)
      console.log(stdout)
      callback();
    }
  }).start()
}

var a = [];
query_gpu('tai', a, function() {
  // ここに取得したデータについての処理を全て書く
  a[1] = Number(a[0].slice(0, 2));
  a[2] = Number(a[0].slice(0, 2));
});

これではコールバックがどんどん深くなって、コールバックだらけになるのでは無いのか？と思うかも知れません。その通りです。これはいわゆるコールバック地獄と言われるもので、JavaScriptのコードをわかりにくいものにするものの一つと言われています。これを解決するにはPromise等を使う必要があります。Promiseの使い方は色々と文献がありますので、調べてみてください。

まとめると次のようになります。

• IOや実行、通信等の待ちが発生するような処理をJavaScriptは待ってくれず、非同期で行う。
• その結果はコールバック内(またはコールバックから呼び出した関数内)でしか利用できない。
• コールバックだらけになるコールバック地獄を解消するには、Promise等を使う必要がある。

Comments

[neil]

丁寧な回答ありがとうございます。
コードをデバッグモードで走らせてみました。
期待していたのはstdoutの中にutilization.gpu [%] 0 % 97 %があることを期待していたのですが、
実際の中身はutilization.gpu [%] だけでした。arrayの中身もutilization.gpu [%]だけでした。
全てをarrayの中に入れるにはどうしたら良いでしょうか？
よろしくお願いします。

[raccy]

うーん、ちょっとわからないですね…。SSHが失敗したのかsimple-sshがおかしいのか、一行ずつ取ってくるのか…。
turbgraphics200さんの回答通りだと、全部返ってくるはずですが、もしかしたら、一行ずつなのかもしれません。一行ずつとるのであれば、別途カウントしながら、全部終わったら(カウントが一定値になったら)、callback()を呼ぶとかにするといいかと思います。

Answer 2

outが非同期で呼ばれるからというのはすでに前者の回答者により説明がありましたが。
実際このoutの関数がどのように呼ばれるのか、特に標準出力の結果の1行ごとに複数回呼ばれるのか、すべての行一括にして一回で呼ばれるのかによって違うかと思います。
一応自分の環境でこのsimple-sshを試してみたら、nvidiaマシンではないのでこのコマンドは使えませんので代わりにlsコマンドを実行してみたら、標準出力結果を全行一括で1回のみ呼ばれました。もしかするとコマンドによって違うかもしれませんが。

function query_gpu(gpu_name, array) {
    return new Promise((resolve, reject) => {

        var SSH = require('simple-ssh');
        var ssh = new SSH({
            host: gpu_name, 
            user: 'name', 
            pass: 'pass'
        });

        ssh.exec('nvidia-smi --query-gpu=utilization.gpu --format=csv', {
            out: function (stdout) {
                if (stdout.includes('\n')) {
                    // stdoutが全行の場合
                    array = stdout
                        .split('\n')
                        .filter(v => !!v.trim() && !v.includes('utilization.gpu'))
                        .map(v => v.split(' '))
                        .filter(v => !isNaN(v[0]))
                        .map(v => +v[0]);
                } else {
                    // stdoutが1行ずつの場合
                    if (stdout.includes('utilization.gpu')) return;
                    var arr = stdout.split(' ').filter(v => v.trim());
                    if (!arr.length || isNaN(arr[0])) return;
                    array.push(+arr[0]);
                }
            },
            exit: function () {
                funcResult(array);
            }
        }).start();
    });
}

function funcResult(array) {
    console.log(array);
}

query_gpu('tai', []);

Answer 3

raccyさんの助言通りでできるはずなので、コールバックが正確に行われているか、データが本当に代入されたか確認してみた方が良いですね。

それと、proxy使ってwatchするというやり方もなくはないのですが、遊んでみるのも楽しそうですね！
参考：Proxy - MDN