node.jsとMySQLでクエリを複数実行したい

Question

node.js：v9.5.0
MySQL：5.7.21
MacOS：10.12

見よう見まねでこういうコードを書きました。

'use strict';

const mysql2 = require('mysql2/promise');

const pool = mysql2.createPool({
  host: 'localhost',
  user: 'foo',
  password: '',
  database: 'test'
});

const test = async () => {
  const job = async () => {
    const conn = await pool.getConnection();

    await conn.query('SELECT * FROM hoge_1', (err, rows, fields) => {
      if (err) throw err;
      console.log(rows);
    });

    await conn.query('SELECT * FROM hoge_2', (err, rows, fields) => {
      conn.release();
      if (err) throw err;
      console.log(rows);
    });
  };

  await job();
  await pool.end();
};

test();

やりたいことはnode.jsでMySQLを使ってデータを取得したいのですが、一つのプロセスでクエリを複数実行したいです。

async/awaitを使うことが条件となります。

期待していた結果は、job()内のawaitが上から順に実行されていき、クエリhoge_1、hoge_2の結果が落ちてくると思っていました。
ところがhoge_1の結果のみ返ってきて、pool.end()が効いていないせいか、処理を完了せず待機状態のままになってしまいます。

　
本当ならSQL文のWHERE以降の条件式に変数をもってきて、for文でループしたいのですが、うまくいかなくてバラバラにして試しています。

一度の処理でクエリを複数回すことは無理なのでしょうか？

　
追記：
ヒントを下さった皆様、ありがとうございました。

突然asyncモジュール禁止、async/awaitを使えと言われ、ドキュメントをきちんと把握せずに質問してしまい、申し訳ございませんでした。

ちょっとシンプルに変更した完成版のコードを貼っておきます。

'use strict';

const mysql = require('mysql2/promise');

const pool = mysql.createPool({
  host: 'localhost',
  user: 'foo',
  password: '',
  database: 'test'
});

const test = async () => {
  const conn = await pool.getConnection();

  const [rows_1, fields_1] = await conn.query('SELECT * FROM hoge_1');
  console.log(rows_1);

  const [rows_2, fields_2] = await conn.query('SELECT * FROM hoge_2');
  console.log(rows_2);

  const [rows_3, fields_3] = await conn.query('SELECT * FROM hoge_3');
  console.log(rows_3);

  await pool.end();
}

test();

Answer 1

手元で動かせないので、コードを見ての推測になってしまいますが

    await conn.query('SELECT * FROM hoge_1', (err, rows, fields) => {
      if (err) throw err;
      console.log(rows);
    });

なぜPromise(async/await)を利用しているのにコールバック関数を渡しているのでしょうか？
こちらを見ても、queryメソッドの引数はクエリとパラメータのみになっているようですが。

async/awaitを使用するのであれば

    const [rows, fields] = await conn.query('SELECT * FROM hoge_1');

が正しいかと思います（参考）

Comments

[退会済みユーザー]

回答をありがとうございました。
最初にドキュメントを見ておくべきでした、スミマセン。。。

Answer 2

awaitがどういう動きするのかをちゃんと覚えればすぐ解決する話だと思います。

コードを見た限り何にでもawait付けてますが、
awaitは非同期通信をよしなに処理してくれる魔法のロジックではありません。
awaitの特徴は下記です。

• 右辺はPromise
• resolveが実行されるまでひたすら遅延、resolve(value)を式の値として処理を継続する
• rejectが実行されればreject(err)のerrを例外として投げ処理を抜ける

従って、awaitを使う場面ではawaitの右辺はPromiseであることが絶対条件です。
上記のコードはパット見いくつかPromiseを返さないように見えます。
なので、全てPromiseを返す関数を実行している事を確かめてください。

特にダメそうなのがk.tadaさんも仰ってるmysql2のqueryにコールバック関数乗せちゃってる箇所。
コールバックがない場合mysql2はPromiseを返す挙動になっているはずですが、
コールバック関数を指定した場合の挙動は私は把握してませんね…もし気になるならソースコードを実際に読んでみてください。

---

【おまけ】 完成版コードへの軽いレビュー

お疲れ様でした、ぐっと見やすい良いコードになりましたね。
折角なのでこの完成版コードを軽く見ていきます。

• poolは直接queryメソッド叩いて使える
• Promise.allと併用して並列処理っぽく
• Promiseをリスト操作で生成する
• asyncで作った関数はresolve, rejectを意識する

poolは直接queryメソッド叩いて使える

もう見たまんまです。
connを取り出しても良いですが、このまま使った方が楽ちんでしょう。

const test = async () => {
  const [rows_1, fields_1] = await pool.query('SELECT * FROM hoge_1');
  console.log(rows_1);

  const [rows_2, fields_2] = await pool.query('SELECT * FROM hoge_2');
  console.log(rows_2);

  const [rows_3, fields_3] = await pool.query('SELECT * FROM hoge_3');
  console.log(rows_3);

  await pool.end();
}

Promise.allと併用して並列処理っぽく

まずはこのコードをデベロッパーツールに突っ込んで結果を見て下さい。
戻り値がPromiseであることが確認出来ます。
(Numberの配列なんで即resolvedしてますが)

Promise.all([123]);
// Promise {<resolved>: Array(1)}

つまり、このように書けば並列処理になります。
これならばpoolでコネクションを複数本引っ張った意味も出来るでしょう。
(ちょっとこれを走らせて速度を確認してみてください。)

const test = async () => {
  const results = await Promise.all([
    pool.query('SELECT * FROM hoge_1'),
    pool.query('SELECT * FROM hoge_2'),
    pool.query('SELECT * FROM hoge_3')
  ]);
  console.log(results);

  await pool.end();
}

Promiseをリスト操作で生成する

pool.query何回も実行してますが、これはダサいです。
sqlの配列から動的に作るようにしましょう。

前項ではコードがキモい感じでしたが、
多少そのキモさが和らいでるのが確認できます。

const test = async () => {
  const sqls = [
    'SELECT * FROM hoge_1',
    'SELECT * FROM hoge_2',
    'SELECT * FROM hoge_3'
  ];
  const promises = sqls.map(sql => pool.query(sql));
  const results = await Promise.all(promises);
  console.log(results);

  await pool.end();
}

asyncで作った関数はresolve, rejectを意識する

これは実践とはかけ離れた条件下なので、既にやっていることかもしれませんが、
asyncはawaitの逆、つまり絶対にpromiseを返す関数として振る舞います。

• returnで値を返せばresolve(value)と等価
• throwで例外を投げればreject(err)と等価

特にtestの外でコネクションを張っておきながら、testの中で閉じるのもおかしな話です。
実践を見据えてその辺を解消していきます。

const mysql = require('mysql2/promise');

const pool = mysql.createPool({
  host: 'localhost',
  user: 'foo',
  password: '',
  database: 'test'
});

const test = pool => {
  const sqls = [
    'SELECT * FROM hoge_1',
    'SELECT * FROM hoge_2',
    'SELECT * FROM hoge_3'
  ];
  return Promises.all(sqls.map(sql => pool.query(sql)));
}

test(pool)
  .then(results => {
    console.log(results);
    pool.end();
  })
  .catch(err => {
    console.error(err);
    pool.end();
  });

リファクタリング1号としてはこんな感じになりました。
ついでにtest関数がPromise.allを直接返すのでasync指定が剥げちゃいましたね…

まぁ、関数ってのは値を入れたら結果を返すものなので、
このようにsql結果を受け取り、.thenや.catchを使って値を調査、poolを閉じた方が設計としては綺麗だと思います。
実践は色々また状況が違うので最適なコードも変わってくると思います、頑張ってください！

Comments

[退会済みユーザー]

回答をありがとうございました。参考になりました。

[退会済みユーザー]

Promises.allの使い方がよくわかりました。
ありがとうございます！　とても参考になりました。

Answer 3

こちらを参考にまずは書き直してみてはいかがでしょう？

ES7 Async Await - Promise wrappers / node-mysql2

https://github.com/sidorares/node-mysql2/blob/master/documentation/Promise-Wrapper.md#es7-async-await

Comments

[退会済みユーザー]

回答をありがとうございました。

Promise.allは便利そうですね。
ただselect sleep(2)、select sleep(3)とあるところにSELECT * FROM hoge文を入れてみたのですが、並列処理のせいか確認することができませんでした。。。

また必要になった時に試してみます、ありがとうございます。