C# Linqとyieldが絡んだ時の処理順がわかりません

Question

###なぜ、この出力順になるのかわかりません。

C#でジェネリックメソッドを学習中です。
ネット上の情報を参考にしているのですが、私のレベルでは理解できない動きとなりました。
なぜ、この出力順になるのか、解説いただきたいです。

###該当のソースコード

using System;
using System.Linq;
using System.Collections.Generic;

public static class Test
{
	public static void Main()
	{
		var list = new List<int> { 1, 2, 3, 4, 5, 6, 7, 8, 9 };
		var query = list.Where(x => x % 2 == 0).Trace().Select(x => x * 10);
		foreach (var item in query) {
			Console.WriteLine(item);
		}
	}
	
	public static IEnumerable<T> Trace<T>(this IEnumerable<T> source)
	{
		foreach (var item in source) {
			Console.WriteLine(item);
			yield return item;
		}
	}
}

###出力結果

2
20
4
40
6
60
8
80

私の予想では、

2
4
6
8
20
40
60
80

でした。
なぜ、最後のforeachが、途中で割り込むような出力になるのでしょうか？

Answer 1

その答えは「遅延評価」ですね。
つまり、Whereに続く部分が実際に実行されるのは foreach が実行されるタイミングまで遅延されます。
そして、foreach から参照されそうになると、その時点で実行されるようになります。

この遅延評価の利点として、無限に続くシーケンスに対しても問題なく実行ができる点です。

例えば、整数すべて（つまり無限の値）から偶数を抜き出す。ただし100以下の場合に。

というような操作を望んだとします。
これくらいシンプルなら最初から100までの数字を準備してループすればいいだけですが、この部分が未定の場合、無限ループに陥ってしまって処理が終わりません。

しかし、今回の質問のように遅延評価されれば、整数を頭から評価していき、偶数だったら表示する、そしてその評価が100に達した時点でループを終了する、というように、無限の値も扱うことができるようになります。

Comments

[tomotaka106]

遅延評価という言葉だけ知っていましたが、教えていただいて、実感できました。
ありがとうございました。

Answer 2

実際にLinqが評価されるのはforeach文が始まってからです。
そして、Whereメソッドのように結果全体を評価する必要がない場合には逐次評価が行われていきます。

このため、値１つずつ、Whereの評価、Traceの評価、Selectを通って、foreach文のボディの評価、とこのようになります。break文を直後に挟めば出力結果は2になります。

違う例を示しますと、OrderByメソッドは全体をソートするため、一旦それまでのメソッドチェーンを評価してソートし、次のメソッドに結果を渡します。
list.Where(x => x % 2 == 0).Trace().OrderBy(_ => _).Select(x => x * 10);とすれば結果は

2
4
6
8
20
40
60
80

になりますし、OrderByをOrderByDescendingに変えれば

2
4
6
8
80
60
40
20

となります。

Comments

[tomotaka106]

edo_m18さんも回答いただいたとおり、遅延評価ですね。
流れがわかりました。
ありがとうございました。

Answer 3

以下のようにすれば期待通りになるはずです。お試しください。

public static IEnumerable<T> Trace<T>(this IEnumerable<T> source)
{
    foreach (var item in source)
    {
        Console.WriteLine(item);
        //yield return item;
    }
    return source;
}

Comments

[tomotaka106]

ありがとうございました。期待通りの出力結果です。
yieldの特性を学習します。

[退会済みユーザー]

デバッガはもちろん使える環境ですよね？　であれば、ブレークポイントを 2 つの foreach ループの最初の行に設定してデバッグ実行してみると動きの違いが分かるのでやってみてください。yield return ステートメント を使用した反復子のメソッドが原因と言うことがわかると思います。

[tomotaka106]

はい、デバッグして試してみます。ありがとうございます。

Answer 4

yieldの不思議さ・特徴を教えようとしているコードのようにみえます。
したがって、そういうものと捉える必要があります。

ただ、理解する方法がないわけではありません。
MSSNのyieldの解説には次のような記述があります。

foreach ステートメントまたは LINQ クエリを使用することにより、Iterator メソッドを処理します。 foreach ループの各イテレーションは、Iterator メソッドを呼び出します。 yield return ステートメントが Iterator メソッドに到達すると、expression が返され、コードの現在の位置が保持されます。 次回、Iterator 関数が呼び出されると、この位置から実行が再開されます。

前半の説明はかなり難しいことを言っておりますが、ポイントは「 次回、Iterator 関数が呼び出されると、この位置から実行が再開されます。」の部分です。メソッドが途中で停止して、次の値を要求されたときにはじめて再実行されるので、呼び出されるたびに、Console.WriteLineが呼び出されるというわけです。

とても不思議な機能ですが、それゆえに便利に使えるやり方です。特にforeachの中身が重い処理の場合などは便利です。

Comments

[tomotaka106]

ありがとうございました。
yieldをどう使いこなすか、学習していかないといけませんね。