オライリーのサンプルが上手く稼働しない

Question

Node.js デザインパターン第2版のサンプルプログラム（https://github.com/mushahiroyuki/ndp2）Chaptar3の06_web_spider_v4で一部箇所を書き換えると上手く稼働しなくなります。

ソース(Node.js)

"use strict";

const request = require('request');
const fs = require('fs');
const mkdirp = require('mkdirp');
const path = require('path');
const utilities = require('./utilities');
const TaskQueue = require('./taskQueue');
let downloadQueue = new TaskQueue(1); //←元々は2、これを1に書き換えて実行

function spiderLinks(currentUrl, body, nesting, callback) {
  if(nesting === 0) {
    return process.nextTick(callback);
  }

  const links = utilities.getPageLinks(currentUrl, body);
  if(links.length === 0) {
    return process.nextTick(callback);
  }

  let completed = 0, hasErrors = false;
  links.forEach(link => {
    downloadQueue.pushTask(done => {
      spider(link, nesting - 1, err => {
        if(err) {
          hasErrors = true;
          return callback(err);
        }
        if(++completed === links.length && !hasErrors) {
          callback();
        }
        done();
      });
    });
  });
}

function saveFile(filename, contents, callback) {
  mkdirp(path.dirname(filename), err => {
    if(err) {
      return callback(err);
    }
    fs.writeFile(filename, contents, callback);
  });
}

function download(url, filename, callback) {
  console.log(`Downloading ${url}`);
  request(url, (err, response, body) => {
    if(err) {
      return callback(err);
    }
    saveFile(filename, body, err => {
      if(err) {
        return callback(err);
      }
      console.log(`Downloaded and saved: ${url}`);
      callback(null, body);
    });
  });
}

let spidering = new Map();
function spider(url, nesting, callback) {
  if(spidering.has(url)) {
    return process.nextTick(callback);
  }
  spidering.set(url, true);

  const filename = utilities.urlToFilename(url);
  fs.readFile(filename, 'utf8', function(err, body) {
    if(err) {
      if(err.code !== 'ENOENT') {
        return callback(err);
      }

      return download(url, filename, function(err, body) {
        if(err) {
          return callback(err);
        }
        spiderLinks(url, body, nesting, callback);
      });
    }

    spiderLinks(url, body, nesting, callback);
  });
}

spider(process.argv[2], 1, (err) => {
  if(err) {
    console.log(err);
    process.exit();
  } else {
    console.log('Download complete');
  }
});

"use strict";

module.exports = 
class TaskQueue {
  constructor (concurrency) {
    this.concurrency = concurrency;
    this.running = 0;
    this.queue = [];
  }

  pushTask (task) {
    this.queue.push(task);
    this.next();
  }

  next() {
    while (this.running < this.concurrency && this.queue.length) {
      const task = this.queue.shift();
      task (() => {
        this.running--;
        this.next();
      });
      this.running++;
    }
  }
};

"use strict";

const urlParse = require('url').parse;
const urlResolve = require('url').resolve;
const slug = require('slug');
const path = require('path');
const cheerio = require('cheerio');

module.exports.urlToFilename = function urlToFilename(url) {
  const parsedUrl = urlParse(url);
  const urlPath = parsedUrl.path.split('/')
    .filter(function(component) {
      return component !== '';
    })
    .map(function(component) {
      return slug(component);
    })
    .join('/');
  let filename = path.join(parsedUrl.hostname, urlPath);
  if(!path.extname(filename).match(/htm/)) {
    filename += '.html';
  }
  return filename;
};

module.exports.getLinkUrl = function getLinkUrl(currentUrl, element) {
  const link = urlResolve(currentUrl, element.attribs.href || "");
  const parsedLink = urlParse(link);
  const currentParsedUrl = urlParse(currentUrl);
  if(parsedLink.hostname !== currentParsedUrl.hostname
    || !parsedLink.pathname) {
    return null;
  }
  return link;
};

module.exports.getPageLinks = function getPageLinks(currentUrl, body) {
  return [].slice.call(cheerio.load(body)('a'))
    .map(function(element) {
      return module.exports.getLinkUrl(currentUrl, element);
    })
    .filter(function(element) {
      return !!element;
    });
};

仕様
・引数としてURLを指定
・指定したURLのbody中にある<a>タグを検知し、指定した回数分だけ再帰的に処理を呼び出しリンクを辿りローカルにダウンロードする
・例えばnest=2で指定すれば引数をlocalhost:3000/homeで与えた場合は/home→/content1→/contetn2, /contetn3までダウンロードする（homeはcontetn1へのリンクを持ち、content1はcontent2とcontetn3へのリンクをbody中に持っている）

一部書き換えた箇所
・TaskQueueクラス宣言時に与える引数を2→1に変更（即ちプログラムの多重度を1にする）

書き換え後の挙動
・上記の例で言うと、homeとcontetn1はダウンロードできるがcontent2とcontetn3がダウンロードできない（多重度を2に戻すと動く）

質問
・上記事象が発生してしまう原因は何になりますでしょうか

Answer 1

上記事象が発生してしまう原因

TaskQueue の コンストラクタに与える引数は concurrency に保持されるわけですが
next() メソッド内で　whileの条件式に利用されています this.running < this.concurrency

concurrency の意味（同時並行性）するとおり、2 以上の数値を想定しているはずです。

Comments

[Radec]

このプログラムは、同時並行性 concurrency ≧ ネスト nesting が成立しないと正しく動かないということでしょうか。
（理解が誤っていたらご指摘ください。）

例えば、main → content1 → content2 / content3 を処理する過程で、
　・TaskQueueには content1 が push され task 実行中
　・content1 が再帰的に content2 を download したい
　・content2 / content3 が push され queue に滞留
　・しかし concurrency = 1 のため、content2 は task として開始できない

[AkitoshiManabe]

> 同時並行性 concurrency ≧ ネスト nesting が成立しないと正しく動かない
私もそのように理解しました。