（C#）EntityFrameworkのクエリ式で内部結合した際の重複データを削除したい

Question

環境
visual studio2017
ASP.NET MVC5
Entity FrameWork 6.2

質問内容は上記の通りです。
以下のようにviewに持っていきたいデータを一括取得する為に一気に結合したテーブルがあります。
アプリケーションはページング処理を行っており、全てのデータを持ってくると重くなってくるため、取得分をskip、takeで制限しています。

 var fulltables = (from entry in DB.t_entry
                              //DB.t_selectionのentryidが重複しているデータを持ってきている、selectionidが最新のものを持ってきたい
                              join selection in DB.t_selection on entry.EntryId equals selection.EntryId
                              
                              join  phases in DB.m_phase on selection.PhaseId equals phases.PhaseId
                              join jobcategories in DB.m_jobcategory on entry.JobCategoryId equals jobcategories.JobCategoryId
                              join selectionstatuses in DB.m_selection_status on entry.SelectionStatusId equals selectionstatuses.SelectionStatusId
                              join entryroutes in DB.m_entry_route on entry.EntryRouteId equals entryroutes.EntryRouteId
                              join locations in DB.m_location on entry.LocationId equals locations.LocationId
                              join interviewers in DB.t_interviewer on selection.SelectionId equals interviewers.SelectionId into tInteviewers
                              orderby entry.EntryId descending
                              select new
                              {
                                  candidateid = entry.EntryId,
                                  candidatename = entry.CandidateName,
                                  candidatenamekana = entry.CandidateNameKana,
                                  locationIds = entry.LocationId,
                                  location = locations.LocationName,
                                  jobcategory = jobcategories.JobCategoryName,
                                  jobcateoryid = entry.JobCategoryId,
                                  entryroute = entryroutes.EntryRouteName,
                                  entryrouteid = entry.EntryRouteId,
                                  attribute = entry.IsFresher,
                                  phase = phases.PhaseName,
                                  phaseid = selection.PhaseId,
                                  selectionstatus = selectionstatuses.SelectionStatusName,
                                  selectuonstatusids = entry.SelectionStatusId,
                                  selectionlimit = selection.SelectionLimit,
                                  expectedjoinsdate = entry.JoinExpectedDate,
                                  department = entry.DepartmentName,
                                  adoptcost = entry.AdoptCost,
                                  adoptrecordmonth = entry.AdoptCostRecordMonth,
                                  adoptpaymentmonth = entry.AdoptCostPaymentMonth,
                                  createdate = entry.CreatedDate,
                                  checkweather = tInteviewers.OrderByDescending(x => x.InterviewerId).Where(x => x.SelectionId == selection.SelectionId && x.UserId == userId).Count()
                              })
                                /*.Distinct(x => x.Entry_Id)を使いたい*/.Skip(PageNumber).Take(PageSize).ToList();

本題なのですがこの結合テーブルはクエリ式を用いてjoinを行っております。
しかしこのまま結合してしまうと以下のようにt_entryとt_selectionが1:Nになっている関係上t_selectionテーブルに値が複数入ってしまうと
entry_idを外部キーとするt_selectionテーブルの値が重複してしまい。
fulltablesには重複し

（ＥＲ図）

（重複データ）

そこで上記のコードから重複削除を行うdistinct、もしくは
join selection in DB.t_selection on entry.EntryId equals selection.EntryId部分に一意の値である’SelectionIdの最大値だけを結合する’結合条件を書き、結合させたいのですが、
distinctはそのまま使うと重複条件が多いためまた引数に何を書いてよいか分からず(x => x.EntryIdと書いてもオーバロードが違うのかうまくいかず)か、うまく重複削除してあげたいものを削除してくれません。
また結合条件を書くことに関しましては、クエリ式のサンプルが少なく’selectionIdの最大値の一つを取得する’といった結合条件の書き方が分かりません。
どのように対処すればよいでしょうか？
よろしくお願い致します。

追記分

            int PageNumber = candidateFilterList.pageNumber * candidateFilterList.pageSize - candidateFilterList.pageSize ?? 0;
            int PageSize = candidateFilterList.pageSize ?? 20;

            /*追加分*/
            var selectiontable = (from o in _base.phoenixDB.t_selection
                          group o by o.EntryId into g
                          orderby g.Key descending
                          from item in g
                          where item.EntryId == g.Max(x => x.EntryId)
                          select item).Skip(PageNumber).Take(PageSize);

            //viewで仕様する全てのデータを取得
            var fulltables = (from entry in _base.phoenixDB.t_entry
                              join selection in selectiontable /*selectiontableをjoin*/ on entry.EntryId equals selection.EntryId 
                              join  phases in _base.phoenixDB.m_phase on selection.PhaseId equals phases.PhaseId
                              join jobcategories in _base.phoenixDB.m_jobcategory on entry.JobCategoryId equals jobcategories.JobCategoryId
                              join selectionstatuses in _base.phoenixDB.m_selection_status on entry.SelectionStatusId equals selectionstatuses.SelectionStatusId
                              join entryroutes in _base.phoenixDB.m_entry_route on entry.EntryRouteId equals entryroutes.EntryRouteId
                              join locations in _base.phoenixDB.m_location on entry.LocationId equals locations.LocationId
                              join interviewers in _base.phoenixDB.t_interviewer on selection.SelectionId equals interviewers.SelectionId into tInteviewers
                              orderby entry.EntryId descending
                              select new BaseEntry
                              {
                                  candidateid = entry.EntryId,
                                  candidatename = entry.CandidateName,
                                  candidatenamekana = entry.CandidateNameKana,
                                  locationIds = (int)entry.LocationId,
                                  location = locations.LocationName,
                                  jobcategory = jobcategories.JobCategoryName,
                                  jobcateoryid = entry.JobCategoryId,
                                  entryroute = entryroutes.EntryRouteName,
                                  entryrouteid = entry.EntryRouteId,
                                  attribute = entry.IsFresher,
                                  phase = phases.PhaseName,
                                  phaseid = selection.PhaseId,
                                  selectionstatus = selectionstatuses.SelectionStatusName,
                                  selectuonstatusids = entry.SelectionStatusId,
                                  selectionlimit = selection.SelectionLimit,
                                  expectedjoinsdate = entry.JoinExpectedDate,
                                  department = entry.DepartmentName,
                                  adoptcost = entry.AdoptCost,
                                  adoptrecordmonth = entry.AdoptCostRecordMonth,
                                  adoptpaymentmonth = entry.AdoptCostPaymentMonth,
                                  createdate = entry.CreatedDate,
                                  checkweather = tInteviewers.OrderByDescending(x => x.InterviewerId).Where(x => x.SelectionId == selection.SelectionId && x.UserId == userId).Count()
                              }).ToList();


    /*
    Result => skipはメソッド 'Skip' は、LINQ to Entities では並べ替え済みの入力に対してのみサポートされます
    */

Comments

[Zuishin]

EntryId が重複してるんだから EntryId を条件にしなきゃダメでしょう。

https://docs.microsoft.com/ja-jp/dotnet/api/system.linq.queryable.distinct?view=netframework-4.7.2#System_Linq_Queryable_Distinct__1_System_Linq_IQueryable___0__System_Collections_Generic_IEqualityComparer___0__

IEqualityComparer<T> を実装したクラスを書かなきゃいけませんね。

[hihijiji]

ＥＲ図通りにリレーションしていたら、joinとか書く必要は無いはずです。
特殊なやり方をしているならそれを質問に書いてください。

[Zuishin]

書き直したところの答え書いてるのに。

[widget11]

>Zuishinさん
ご指摘ありがとうございます。リファレンス読んでみたのですが、IEqualityComparer<T> クラスの実装に関しまして、実装の方法が恥ずかしながらよくわからないです。。
public class EntryID
{public static int IQueryable EntryId {get; set;}}
のようなクラスを作成するということなのでしょうか？。。。

>hihijijiさん
ご回答ありがとうございます。
個人的に知識がないこともありますが、テーブルを結合したい際はjoin（内外部結合）をするしか選択肢がなく。。。ほかにやり方があるということでしょうか？

[Zuishin]

IEqualityComparer<T> を実装したクラスを書かなきゃいけませんね。

[hihijiji]

チュートリアル通りに実装したら、
t_entryクラスに ICollection<t_selection> の型のナビゲーションプロパティがあるはずです。

[Zuishin]

もしかして「インターフェースを実装したクラスを作る」の意味がわかりませんか？
どこまでわかるかは自己申告しなけりゃ誰もわかりませんよ。

[退会済みユーザー]

クローズする前に結局どのように解決したのかきちんとフィードバックしてください。それがマナーだと思いますけど。ベストアンサーを付ければいいってものではないはずです。

Answer 1

Distinct 案

既存の回答欄には文字数制限のためか追記できませんので、新たに別の回答欄を作って書きます。

自分的にお勧めは最初のグループ分けして絞り込む案で、Distinct 案をお勧めするわけではありませんが、一応 Distinct を使う方法も考えてみたので参考程度ということで書いておきます。

IEnumerable<T> で T が匿名型の場合は何もしなくても Distinct メソッドが有効ですが、その場合全プロパティが比較に対象になり、今回のケースでやりたい単一プロパティだけ比較して重複排除するということができません。

なので、カスタムクラス（以下のサンプルコードで Result2 クラス）を定義し、以下の記事の 1. の方法で Distinct メソッドによる重複排除ができるようにしてみました。

匿名型と Distinct メソッド
http://surferonwww.info/BlogEngine/post/2015/12/08/anonymous-type-and-distinct-method.aspx

サンプルコードは以下の通りです。

using System;
using System.Collections.Generic;
using System.Linq;
using System.Text;
using System.Threading.Tasks;
using System.Data.Entity;
using System.Data;
using System.Data.SqlClient;

namespace ConsoleAppJoinByLinq
{
    public class Result2 : IEquatable<Result2>
    {
        public string Name { get; set; }
        public int OrderID { get; set; }
        public decimal? Freight { get; set; }

        public bool Equals(Result2 other)
        {
            if (Object.ReferenceEquals(other, null)) return false;

            if (Object.ReferenceEquals(this, other)) return true;

            return Name.Equals(other.Name);
        }

        // If Equals() returns true for a pair of objects  
        // then GetHashCode() must return the same value for these objects. 
        public override int GetHashCode()
        {
            return Name.GetHashCode();
        }
    }

    class Program
    {
        static void Main(string[] args)
        {
            NORTHWINDEntities context = new NORTHWINDEntities();

            var employees2 = from e in context.Employees
                             join o in context.Orders on e.EmployeeID equals o.EmployeeID
                             orderby o.OrderID descending
                             select new Result2
                             {
                                 Name = e.FirstName + " " + e.LastName,
                                 OrderID = o.OrderID,
                                 Freight = o.Freight
                             };

            // 一旦 List<Result2> 型として取得しないと Distinct がかからない。
            // ToList() がなくてもエラーは出ないが、全件出てしまう。
            foreach (var x in employees2.ToList().Distinct())
            {
                Console.WriteLine($"Name: {x.Name}, OrderID: {x.OrderID}, Freight: {x.Freight}");
            }

            // 結果は：
            //  Name: Nancy Davolio, OrderID: 11077, Freight: 8.5300
            //  Name: Margaret Peacock, OrderID: 11076, Freight: 38.2800
            //　Name: Laura Callahan, OrderID: 11075, Freight: 6.1900
            //  Name: Robert King, OrderID: 11074, Freight: 18.4400
            //  Name: Andrew Fuller, OrderID: 11073, Freight: 24.9500
            //  Name: Janet Leverling, OrderID: 11063, Freight: 81.7300
            //  Name: Anne Dodsworth, OrderID: 11058, Freight: 31.1400
            //  Name: Michael Suyama, OrderID: 11045, Freight: 70.5800
            //  Name: Steven Buchanan, OrderID: 11043, Freight: 8.8000
        }
    }
}

orderby o.OrderID descending で降順に並べてから Distinct することで OrderID が最大のものが取得できていますが、ホントにそれで良いのか裏付ける Microsoft ドキュメントは見つけられませんでした。

Answer 2

join selection in DB.t_selection on entry.EntryId equals selection.EntryId 部分に一意の値である’SelectionIdの最大値だけを結合する’結合条件を書き、結合させたいのですが、

上の DB.t_selection の部分を Linq を使って要件に合わせて絞ったものにすれば良いのでは？

t_selection を EntryId でグループ化し、where 句でグループの中の SelectionId が最大なレコードを抽出するよう条件を付けた Linq to Entities を書いて、それと結合するようにすれば望むことができると思います。具体例は以下の通りです。

Microsoft が提供するサンプルデータベース Northwind の Employees テーブルと Orders テーブルを例に使います。

内容は以下の通りで、Employees テーブルが質問者さんの t_entry に、Orders テーブルが t_selection に相当すると思ってください。

Orders テーブルの EmployeeID が質問者さんの t_selection テーブルの EntryID と同様な形で重複しています。

Orders テーブルの Freight が質問者さんの t_selection テーブルの SelectionID に該当すると思ってください。以下に示したサンプルコードでは、各グループの中で Freight が最大のものを where 句で条件を付けて抽出しています。

Employees テーブル

Orders テーブル

サンプルコードは以下の通りです。

using System;
using System.Collections.Generic;
using System.Linq;
using System.Text;
using System.Threading.Tasks;
using System.Data.Entity;
using System.Data;
using System.Data.SqlClient;

namespace ConsoleAppJoinByLinq
{
    class Program
    {
        static void Main(string[] args)
        {
            NORTHWINDEntities context = new NORTHWINDEntities();            

            var orders = from o in context.Orders
                         group o by o.EmployeeID into g
                         orderby g.Key
                         from item in g
                         where item.Freight == g.Max(x => x.Freight)
                         select item;

            foreach (var y in orders)
            {
                Console.WriteLine($"ID: {y.OrderID}, EmployeeID: {y.EmployeeID}, Freight: {y.Freight}");
            }

            // 結果は：
            //  ID: 10612, EmployeeID: 1, Freight: 544.0800
            //  ID: 10691, EmployeeID: 2, Freight: 810.0500
            //  ID: 10540, EmployeeID: 3, Freight: 1007.6400
            //  ID: 10816, EmployeeID: 4, Freight: 719.7800
            //  ID: 10372, EmployeeID: 5, Freight: 890.7800
            //  ID: 10510, EmployeeID: 6, Freight: 367.6300
            //  ID: 11030, EmployeeID: 7, Freight: 830.7500
            //  ID: 10694, EmployeeID: 8, Freight: 398.3600
            //  ID: 11017, EmployeeID: 9, Freight: 754.2600

            var employees = from e in context.Employees
                            join o in orders on e.EmployeeID equals o.EmployeeID
                            select new
                            {
                                Name = e.FirstName + " " + e.LastName,
                                OrderID = o.OrderID,
                                Freight = o.Freight
                            };
            foreach (var x in employees)
            {
                Console.WriteLine($"Name: {x.Name}, OrderID: {x.OrderID}, Freight: {x.Freight}");
            }

            // 結果は：
            //  Name: Nancy Davolio, OrderID: 10612, Freight: 544.0800
            //  Name: Andrew Fuller, OrderID: 10691, Freight: 810.0500
            //  Name: Janet Leverling, OrderID: 10540, Freight: 1007.6400
            //  Name: Margaret Peacock, OrderID: 10816, Freight: 719.7800
            //  Name: Steven Buchanan, OrderID: 10372, Freight: 890.7800
            //  Name: Michael Suyama, OrderID: 10510, Freight: 367.6300
            //  Name: Robert King, OrderID: 11030, Freight: 830.7500
            //  Name: Laura Callahan, OrderID: 10694, Freight: 398.3600
            //  Name: Anne Dodsworth, OrderID: 11017, Freight: 754.2600
        }
    }
}

NORTHWINDEntities は Visual Studio の ADO.NET Entity Data Model のウィザードを使って Northwind から自動生成させたものです。テーブルの定義その他必要なものも自動生成させたコードに含まれます。

EDM の作成方法は以下の記事の手順 (1) ～ (10) を見てください。

スキャフォールディング機能
http://surferonwww.info/BlogEngine/post/2017/07/23/creating-controller-and-view-in-mvc-using-scaffolding-function.aspx

【追伸】

上の回答で、

Orders テーブルの Freight が質問者さんの t_selection テーブルの SelectionID に該当すると思ってください。以下に示したサンプルコードでは、各グループの中で Freight が最大のものを where 句で条件を付けて抽出しています。

と書きましたが、Freight ではなく OrderID にした方が質問の内容に近かったですね。

Freight を OrderID に換えて、各グループの中で OrderID が最大のものを where 句で条件を付けて抽出するには、最初の linq 式の中の、

where item.Freight == g.Max(x => x.Freight)

を

where item.OrderID == g.Max(x => x.OrderID)

に変更すれば OK です。

Comments

[widget11]

ご回答を参考に修正を致してみました。
SurferOnwww様が仰ります通り
>t_selection を EntryId でグループ化し、where 句でグループの中の SelectionId が最大なレコードを抽出するよう条件を付けを行い且つ、ここでskip、takeのページング分を取得し、後でjoinを行うコードを書きましたが、追記文のようなエラーが出ました。

次に
var selectiontable = (from o in _base.phoenixDB.t_selection
group o by o.EntryId into g
//orderby g.Key descending
from item in g
where item.EntryId == g.Max(x => x.EntryId)
select item).OrderByDescending(x => x.EntryId).Skip(PageNumber).Take(PageSize);
というようにskip、takeをする前にorederbydescendingメソッドを使いましたが、デバッグしてみると変わらず重複したものが出てきてしまいます。。。
ページングと速度改善の為部分的にDBからskip、takeしjoinする実装と重複を防ぐ為の処理の両立が自身にとって非常に難しいです。。。
何故このコードですと結果が変わらないでしょうか。懇切丁寧なご回答を頂けましたのに自身が不甲斐ないです。よろしくお願い致します。

[退会済みユーザー]

> skip、takeのページング分を取得し、後でjoinを行うコードを書きましたが、追記文のようなエラーが出ました。

Linq to Entities は、Linq to Objects とは違って、そのクエリ式が SQL Server などの DB で使われる SQL に変換できる必要があるのですが、そうなってないのでは？

詳しくは以下の記事を見てください。

Linq to Entities / Objects
http://surferonwww.info/BlogEngine/post/2019/02/13/difference-in-linq-to-entities-and-objects.aspx

[退会済みユーザー]

上のコメントは違うかも。エラーメッセージでググってみてください。以下のような記事がヒットします。多分これが当たりだと思います。

LINQ to Entities クイック リファレンス
https://blog.karamem0.jp/entry/2012/12/15/000000

＃聞く前にエラーメッセージでググる習慣を付けましょう。

[退会済みユーザー]

失礼しました、よく見てみれば「次に」のところのコードで OrderByDescending を入れてますね。それでエラーは解消できたが、その selectiontable を見てみると重複しているということですか？

[widget11]

ご返信ありがとうございます。
その通り、selectiontableを見てみても重複してしまっている形となっております。

[退会済みユーザー]

具体的にどのように重複しているか書けないでしょうか？ 重複の仕方がクエリ式の条件と比べてどうなっているのでしょう？

[widget11]

ご回答ありがとうございます。
双方とも方法が上手くいかなかったこともそうですが、改めて自身がやりたいことを見つめ直すと
LINQで書くと複雑なものになることが分かりました為、生のSQLで書き違うアプローチを行おうと考えました。
折角お答えいただきましたのに大変申し訳ございません。

[退会済みユーザー]

終わりにしたいから、未解決のままテキトーにベストアンサーを付けて去ってしまうのは、回答者に対して大変失礼ってことは常識的にわかるとおもいますけど。そういうことをしていると、誰もあなたには回答してくれなくなりますよ。最低限、ギブアップしたからもうここでの話は打ち切りたいと書いてください。そして、次のスレッドでここでの話を書いてください。