Coroutineで大量の処理を並列実行したい

Question

KotlinのCoroutineで大量の処理を複数実行したいです。処理を並列実行するには以下のように、asyncで動かして、awaitで待ち合せればいいとのことですが、この処理が大量にある場合はどうしたらいいのでしょうか？

例えば以下のprocess関数に1～1000を代入して関数を走らせるとします。それぞれの処理に1秒かかるとしたら、普通にやれば1000秒、並列処理で行えば1秒で処理が終わることになります。しかし、以下のように1000個すべてにawait()と書くわけにもいきませんし、そもそも1000という数が動的に変わる値であったら対応できません。

このような場合はどのように並列処理を実現するのでしょうか？

fun runMain(): Job = scope.launch {
    val price1 = async { process(1) }
    val price2 = async { process(2) }
    println("Result: ${price1.await()}, ${price2.await()})
}

Answer 1

任意の数のcoroutineを並列で起動させたいということであれば、単純にforEach等のループでcoroutineを生成し、その後にawaitで待ち合わせをするように書けばOKです。

// count個のasyncを起動して待ち合わせ
val prices = (1..count)
    .map { async { process(it) } }
    .map { it.await() }
println("Results: ${prices})

---

ただし、asyncの中の処理が実際に並列に実行されるかどうかはDispatcherで指定したスレッドプールの最大値に依存します。例えばDispatchers.Defaultであれば、CPUコアの数がスレッドプールの最大値として設定されています。

It is backed by a shared pool of threads on JVM. By default, the maximum number of threads used by this dispatcher is equal to the number of CPU cores, but is at least two.

Comments

[CAIOS]

うまく動作させることができました。ありがとうございました。