大量のPromiseを生成する時、並行処理される上限を設けたい

Question

タイトルの通り、http requestなどの処理をするPromiseを大量に生成する以下のようなコードで並行処理される上限を設けたいです。
以下のコードは、配列の要素数が少ないうちは期待した動作をしますが、要素数が多いとリクエスト先からエラーが返ります。
エラーの内容は失念しましたが、おそらく処理上限を超えたのでリクエストが破棄されたような動作をしました。

Pendingの状態にあるPromiseが上限を超えて追加されようとする時、一旦sleepで保留して、上限を下回り次第追加する方法を考えましたが、Promiseの状態を取得する方法、またPromiseがfulfilledになったときにsleepを解除する方法がわかりません。

上記の私が考えた方法以外にPromiseの処理上限を設ける方法がありましたら教えてください。

const arrPromises = arrParams.map(param => new Promise((resolve, reject) => {
  httpRequest(param)
    .then(resolve)
    .catch(reject);
}));

Promise
  .all(arrPromises)
  .then(console.log);

Answer 1

上限つけてみました。（たぶん動くはず）

let myPromises = Array( 20 ).fill( 1 ).reduce( ( pre, curr, i )=> {
	pre.push( new Promise( ( resolve, reject )=> { 
		let t = 1000 * ( Math.floor( Math.random() * 4 ) + 1 );
		setTimeout( resolve, t, i + ':' + t );
	} ) );
	return pre;
}, [] );
let list = [], max = 3, cnt = 0;
function runPromises() {
		console.log( '!' );
	if ( !myPromises.length && !list.length ) {
		// Finish!
		console.log( 'Finish!' );
	}
	while( myPromises.length && list.length < max ) {
		let p = myPromises.shift();
		list.push( 0 );
		p.then( value => {
			console.log( value );
			list.shift();
			runPromises();
		} );
		console.log( ++cnt );
	}
}

runPromises();
```**動くサンプル：**[https://jsfiddle.net/tL5vjw5h/](https://jsfiddle.net/tL5vjw5h/)

Comments

[og24715]

なるほど。面白いです。
runPromisesが処理中のPromiseの数をlist配列で表していると思いますが配列である意味は何でしょう。

私なりに解釈して書き直してみました。
https://jsfiddle.net/0d2c81w8/2/

[kei344]

とくにありません。何か考えながら書いていて見直ししていないので雑なところはあると思います。

Answer 2

状況がよくわかりませんがrejectを拾ってしまうと
途中でとまってしまいませんか？
rejectの想定を404エラーなどだと想定しているのであれば
statusをみてresolveで処理してみてはいかがでしょうか？

sample

startが表示されてから1秒後に10秒間かけて1000個のデータを表示

<script src="https://www.promisejs.org/polyfills/promise-6.1.0.min.js"></script>
<script>
var prm=[];
console.log("start");
for(var i=0;i<1000;i++){
  (function(i){
    prm[i]= new Promise(function(resolver){
      setTimeout(function(){console.log(i);resolver(this);},1000+10*i);
    });
  })(i);
}
Promise.all( prm ).then(function(){
  console.log("end");
});

</script>

追記

なにか噛み合っていないようですね
私の理解力がないのでしょうか、お役に立てずに残念です
一応sample追加しときますが、おそらく質問者さんのやりたいこととは違うのでしょうね

<script src="https://www.promisejs.org/polyfills/promise-6.1.0.min.js"></script>
<script>
var prm=[];
console.log("start");
for(var i=0;i<100;i++){
  (function(i){
    prm[i]= new Promise(function(resolver){
      var xhr = new XMLHttpRequest();
      xhr.open('GET','recv.php?x='+i,true);
      xhr.addEventListener("load" ,function() {
        console.log(this.response)
        resolver(this);
      });
      xhr.send();
    });
  })(i);
}
Promise.all( prm ).then(function(){
  console.log("end");
});

</script>

• 呼び出し先recv.php

<?PHP
sleep(3);
print $_GET["x"];
?>

Comments

[og24715]

reject はしてません。
状況がわからないと言われてもこれ以上の説明のしようがないんですがPromiseの配列を生成しているだけです。中身の処理はなんでもいいです。
上限を超えてPromiseを生成するときは処理中のPromiseが空くのを待ってPromiseを配列に追加したいだけです。
Stackoverflowに似た質問がありましたがもっとスマートな方法がないかと質問した次第です。

[javascript \- Node\.js API Request limit with request\-promise \- Stack Overflow](https://stackoverflow.com/questions/38048829/node-js-api-request-limit-with-request-promise)

[yambejp]

なるほどNode.jsですね

普通のjavascriptのpromiseについては1000個発行しても
問題ないみたいですけどね

[og24715]

node.jsでもブラウザーjsでも1000個生成すること自体は問題ないでしょう。
追記見ました。
何を意図としているのかforで配列にPromise突っ込んでるだけですよね。
これではprm配列のPending状態にある要素の上限を設定できてるとはいえませんよね。

[yambejp]

すみませんPendingうんぬんのところで私の認識と違うようです
お役に立てずに申し訳ないです