node.jsでのループの同期処理について

Question

nodejsのrequestを使用したHTTPリクエストをループ分を使っての同期処理をしたいと考えています。

現在HTTPリクエストを以下のように行っています。

const request = require('request')
const base_url = 'https://hogehoge/'

function main(){
    request(base_url , (e, response, body) => {
        if (e) {
            console.error(e)
        }
        // 取得したHTTPの処理
        http_get(body)
    }
}
main()

このソースにfor文によるループを追加し「hogehoge/」「hogeoge/1」「hogehoge/2」…と順番にアクセスするための処理を追加しましたが意図した通りの順番にアクセスする動作を行ってくれません。
requestの処理が終わる前にforのループが抜けてしまうのか「hogehoge/4」ばかりにアクセスするなどの現象が起きています。

const request = require('request')
const list_url= 'https://hogehoge/'

function main(){
    // for文の追加
    for(let page_num = 1; page_num < 5; page_num++){
        request(list_url, (e, response, body) => {
            if (e) {
                console.error(e)
            }
            // 取得したHTTPの処理
            http_get(body)
            // URLに変数を加えて次のページへ
            list_url = list_url + String(page_num)
        }
    }
}
main()

そこで質問なのですがfor文の中の処理が全て終わったのを確認してから再度ループを行うような、ループの同期処理を行う方法はありますでしょうか？

Answer 1

結論から言えば
Promiseとasync / await構文を勉強してください。

現在使っているrequestモジュールはPromise非対応です

仮にrequest-promise-nativeにしようと決定したとして、こんな感じになります。

# request-promise-nativeをインストール
$ npm install request-promise-native

const request = require('request-promise-native')
const list_url= 'https://hogehoge/'

// async関数を定義することで内部でawaitを使用可能となる
async function main(){
    for(let page_num = 1; page_num < 5; page_num++){
        try {
            body = await request(list_url)
            http_get(body)
            // list_urlはconst定義されてるから動かないんじゃね？
            list_url = list_url + String(page_num)
        } catch (e) {
            console.error(e)
        }
    }
}
main()

---

なんでこうなるのかを順を追って解説します。

まずJavaScriptはシングルスレッドなので待つという事はしません。
sleep関数はありませんし、HTTPリクエストを送信したら帰って来るまで待ったりしません。
待ってるとブラウザが固まってフリーズしますから。
Node.jsもシングルスレッドなので同様、フリーズするので待てない。

いやいや、JSってボタンがクリックされたらHTML書き換える言語やないか、待ってるだろ！
待つためには仕組みが必要です。

---

「待つ」を実現するために、JSにはイベントという仕組みが存在します。
JSにはイベント置き場があり、達成条件と関数(達成後実行して欲しい処理)をセットで登録出来るようになっています。

質問文のrequest(list_url, fn)がそうですね。
これはイベント登録申請が受理されただけで、その行の動作自体は一瞬で完了します。
もしfor文で10件回すと、瞬時に10件のイベント登録申請が完了されてしまいます。

JSはすべての行の実行を行い動作を終了させると、
イベントループという待機状態に入ります。

イベントループでは達成条件を満たしたか否かを巡回して、
達成したイベントが見つかった場合、対になっている関数を一つ取り出して実行します。
そしてまた巡回に戻る。

---

なので質問文を愚直にやるならばfor文は使えません。

関数の中に関数を入れて、その中にまた関数を入れるという入れ子構造を作っておき、
それをrequestのコールバック関数として指定する形になります。

request(list_url, (e, response, body) => {
    http_get(body)
    page_num = 0
    list_url = list_url + String(page_num)
    request(list_url, (e, response, body) => {
        http_get(body)
        page_num = 1
        list_url = list_url + String(page_num)
        request(list_url, (e, response, body) => {
            http_get(body)
            page_num = 2
            list_url = list_url + String(page_num)
            request(list_url, (e, response, body) => {
                http_get(body)
            })
        })
    })
})

4回リクエストを飛ばす仕組みはこんな感じ
これをコールバック地獄と呼びます。

そこで、JSの新しい仕様のES2016でPromiseが導入されました。
使い方に関しては勉強してほしいのですが、
それによりコードが多少簡素になりました。

// Promise対応モジュール
const request = require('request-promise-native')

request(list_url)
  .then(body => {
    http_get(body)
    page_num = 0
    list_url = list_url + String(page_num)
    return request(list_url)
  })
  .then(body => {
    http_get(body)
    page_num = 1
    list_url = list_url + String(page_num)
    return request(list_url)
  })
  .then(body => {
    http_get(body)
    page_num = 2
    list_url = list_url + String(page_num)
    return request(list_url)
  })
  .then(body => {
    http_get(body)
  })

さっきよりはまだ……うん、って感じにはなりましたね。
この.thenがイベント登録なのでPromiseインスタンスに対して
forで.thenの登録を一気にやれば実現の可能性も見えてきます。

ですが、所詮イベント登録なので直感的にfor文を使う事は出来ません。
そこでようやくasync/await構文です。

awaitはPromiseインスタンスの実行完了を待ち、
自動的に.thenを叩いて中の値を抽出してくれる糖衣構文です。
回答冒頭のような事が可能となり、直感的なコードを書けるようになります。

Comments

[tokoroten_12]

回答ありがとうございます。
requestをPromiseでラップ？してasync、awaitを使う事でfor文でのループ処理が出来るようになりました。

function samplerequest(num){
return new Promise(resolve => {
request(list_url, (e, response, body) => {
http_get(body)
resolve()
})
})
}
async function main(i){

for(let i=0; i<5; i++){
await samplerequest(i)
list_url = base_url + String(i)
}
}