MongoDBのAggregationでlookupからの複数の条件での集計

長くなってしまいましたが、どうかお知恵をお貸しください。

使用しているMongoDBのバージョンはv4.0.3です。
このバージョンのまま可能であれば好ましいですが、
必要に応じてアップデートも検討致します。

以下のような生徒と試験結果を保持する2つのコレクションがあります。

[students]

MongoDB
1[
2  {
3    _id: ObjectId("5f859a1b766f6f532a7c58ec"),
4    name: "田中 太郎"
5  },
6  {
7    _id: ObjectId("5f8599d1766f6f532a7c58e6"),
8    name: "佐藤 花子"
9  }
10]

[exam_scores]

MongoDB
1[
2  {
3    _id: ObjectId("5f859671766f6f532a7c58c5"),
4    student_id: ObjectId("5f859a1b766f6f532a7c58ec"),
5    subject: "math",
6    score: 86,
7    date: ISODate("2020-10-01T13:00:00+09:00")
8  },
9  {
10    _id: ObjectId("5f8595ea766f6f532a7c5887"),
11    student_id: ObjectId("5f859a1b766f6f532a7c58ec"),
12    subject: "science",
13    score: 58,
14    date: ISODate("2020-10-01T13:17:38+09:00")
15  }
16]

試験結果の"subject"には
"Japanese", "math", "science", "social_studies", "English"
のいずれかが入っているものとします。
"score"は0以上100以下の整数が入っています。

これらのコレクションからAggregationをおこない、以下のように生徒の各教科の平均点,最後に試験を受けた日を求め、任意の項目でソートを掛けたいのです。

MongoDB
1[
2  {
3    student_id: ObjectId("5f859a1b766f6f532a7c58ec"),
4    name: "田中 太郎"
5    Japanese_avg: 57.77,
6    math_avg: 82.52,
7    science_avg: 91.34,
8    social_studies_avg: 47.93,
9    English_avg: 56.49,
10    last_exam: ISODate("2020-10-13T17:58:36+09:00"),
11  },
12]

MongoDBのPipelineに理解が浅く、これを実装しようとすると、$lookup, $unwind, $groupの組み合わせを5回する他の方法を知りません。
結構な件数が存在するので、5回もlookupを行うと取得にとても時間がかかってしまいます。
もっとスマートな実現方法はないでしょうか？

Javascript
1db.students.aggregate([
2  {
3    $lookup: {
4      from: "exam_scores",
5      let: { _id: "$_id" },
6      pipeline: [
7        {
8          $match: {
9            $expr: {
10              $and: [
11                { $eq: ["$student_id", "$$_id"] },
12                { $eq: ["$subject", "Japanese"] }
13              ]
14            }
15          }
16        }
17      ],
18      as: "japanese_score",
19    }
20  },
21  {
22    $unwind: {
23      path: "$japanese_score",
24      preserveNullAndEmptyArrays: true
25    }    
26  },
27  {
28    $group: {
29      _id: "$_id",
30      name: { $first: "$name" },
31      Japanese_avg: { $avg: "$japanese_score.score" }
32    },
33  },
34  /*
35  繰り返し
36  */
37  {
38    $sort: {
39      Japanese_avg: -1
40    }
41  }
42]);