クラスリストを比較して増減、差異があるか確認したい

Question

C#で以前取得したデータとの差異を確認するプログラムを作ろうとしていて、やり方が分からないので教えてほしいです。

DATAが新しく増えたり消えているか、RECOADに変化があるかを判定したいです。

foreachで多重ループを作って一件ずつ==で確認して、elseで書き出すにしようと思ったんですけど関係ないデータまで含まれます。

調べてもこれだ！と言う情報が見つからなかったので質問しました、解凍お願いします。

ソースコード

using System.Text.Json;//追記2 JsonをStoreClsでデシリアライズして使います

//LIST＜StoreCls＞　NEW;
//LIST＜StoreCls＞　OLD;

public class StoreCls
    {
        public string DATE { get; set; }
        public Store[] DATA { get; set; }
    }

    public class Store
    {
        public string ID { get; set; }
        public string NAME { get; set; }
        public string RECORD { get; set; }//追記2 数字1~　の数値
    }

//追記
　　　　　var Flag = 0;
                string TenpName = "";
                string TenpRECORD = "";
                foreach (var oldDATA in LastTimeStoreList)
                {
                    foreach (var oldStore in oldDATA.DATA)
                    {
                        foreach (var CurrentData in StoreLIST)
                        {
                            
                            foreach (var CurrentStore in CurrentData.DATA)
                            {
                                Flag = 0;
                                if (CurrentStore.NAME == oldStore.NAME)
                                {
                                    Flag = 0;
                                    if (!(CurrentStore.RECORD == oldStore.RECORD))
                                    {
                                        StoreInfo += CurrentStore.NAME + "\r\n" + oldStore.RECORD + CurrentStore.RECORD;

                                    }
                                    break;
                                }
                                else
                                {
                                    Flag = 1;
                                    TenpName = CurrentStore.NAME;

                                    TenpRECORD = CurrentStore.RECORD;
                                    continue;
                                }
                            }
                            if (Flag == 1)
                            {
                                StoreInfo += TenpTname + "\r\n" + oldStore.RECORD + TenpRECORD;
                            }

                        }

                    }
                }

Comments

[fumu7]

「foreachで多重ループを作って一件ずつ==で確認して、elseで書き出すにしようと思った」に対応するプログラムを質問に書いてください。
”ソースコード”には、foreachも、多重ループも、含まれていないですよね。

[omochi-_-]

すみません、書き忘れていました。今追加しました。

[退会済みユーザー]

あなたの言う「差異」とは何ですか？ 具体的に、何がどう違うと「差異」があると見なすのですか？

元データは何ですか？ MySQL とか SQL Server などの DB ですか？

[Zuishin]

「違う」ということだけわかればいいのか、それともレーベンシュタイン距離が必要なのか、それとも他の何かがしたいのかわかりませんが、もしかすると多重ループではなく HashSet を使うのが良いかもしれません。

[KOZ6.0]

回答に転記しました。

[KOZ6.0]

回答に転記しました。

[omochi-_-]

>>元データは？
Jsonです

>>差異とは？
(これも書き忘れていました)RECOADは数字のstringで入っているのでその増減
DATA(store)はその要素があるかないか、IDで確認して
新しい→古い　で比較して消えているか
古い→新しい　で比較して古いほうになかったものが増えているかの差異です。

>>HashSet
HashSet知らなかったので調べてきました、同じ要素が入らないならどの位置で起きているかを調べると出来そうですねありがとうございます！

Answer 1

DATAが新しく増えたり消えているか、RECOADに変化があるかを判定したいです。

「Storeの増減・変更だけわかればいい」と考えていいのでしょうか？（「StoreClsの増減やStoreの移動はないのか。あったとしてもStoreだけ気にしていればいいのか」ということです）

であるならStoreをフラット化して、Exceptするのが簡単そうです。
Enumerable.Except メソッド (System.Linq) | Microsoft Docs

命名が分かりにくいので、ありがちなクラスに置き換えさせていただきました（.NET6です^^

using static System.Text.Json.JsonSerializer;


var oldDepartments = new List<Department>
{
    new Department
    {
        Name = "foo",
        Employees = new List<Employee>
        {
            new Employee { Name = "hoge", Age = 65, },
            new Employee { Name = "fuga", Age = 41, },
        }
    },
    new Department
    {
        Name = "bar",
        Employees = new List<Employee>
        {
            new Employee { Name = "piyo", Age = 37, },
        }
    },
};

var newDepartments = Deserialize<List<Department>>(Serialize(oldDepartments))!; // deep copy
newDepartments[1].Employees[0].Age++; // change piyo
newDepartments[0].Employees.RemoveAt(0); // del hoge
newDepartments[0].Employees.Add(new Employee { Name = "hogera", Age = 24, }); // add hogera


var oldEmployees = oldDepartments.SelectMany(x => x.Employees).ToList();
var newEmployees = newDepartments.SelectMany(x => x.Employees).ToList();
var message = "";

foreach (var oldEmployee in oldEmployees)
{
    foreach (var newEmployee in newEmployees)
    {
        if (oldEmployee.Name == newEmployee.Name && oldEmployee.Age != newEmployee.Age)
        {
            message += $"change:\t{newEmployee.Name} {oldEmployee.Age} -> {newEmployee.Age}\n";
            break;
        }
    }
}

var delEmployees = oldEmployees.Except(newEmployees, new NameComparer());
foreach (var delEmployee in delEmployees)
{
    message += $"del:\t{delEmployee.Name} {delEmployee.Age}\n";
}

var addEmployees = newEmployees.Except(oldEmployees, new NameComparer());
foreach (var addEmployee in addEmployees)
{
    message += $"add:\t{addEmployee.Name} {addEmployee.Age}\n";
}

Console.WriteLine(message);



class NameComparer : IEqualityComparer<Employee>
{
    //public bool Equals(Employee? x, Employee? y) => x?.Name == y?.Name;
    public bool Equals(Employee? x, Employee? y)
    {
        return x?.Name == y?.Name;
    }

    //public int GetHashCode(Employee obj) => obj.Name?.GetHashCode() ?? 0;
    public int GetHashCode(Employee obj)
    {
        if (obj.Name == null) return 0;
        return obj.Name.GetHashCode();
    }
}

#pragma warning disable CS8618 // null 非許容のフィールドには、コンストラクターの終了時に null 以外の値が入っていなければなりません。Null 許容として宣言することをご検討ください。
public class Department
{
    public string Name { get; set; }
    public List<Employee> Employees { get; set; }
}

public class Employee
{
    public string Name { get; set; }
    public int Age { get; set; }
}

change: piyo 37 -> 38
del:    hoge 65
add:    hogera 24

Comments

[omochi-_-]

回答ありがとうございます。
>>「Storeの増減・変更だけわかればいい」と考えていい
まさにこれです
SelectManyでフラット化(っていうんですね知りませんでした)

わざわざ外から確認しないでフラット化していれば簡単ですもんね・・・。
集合演算もできるんですね、LINQは便利とよく見かける理由が分かりました。

出力も含めて求めてた答えそのものでしたありがとうございます！m(__)m。

new　NameComparer()は構造体などを使う時用？の構造を指定している?で合ってますか？
.Nameしか指定していないのに.Ageも比較されるのでしょうか？

リファレンスを見たんですけど、ラムダ式がまだできないのもあって理解しきれてないので教えてほしいです。

[TN8001]

> new　NameComparer()は構造体などを使う時用？の構造を指定している?で合ってますか？

Enumerable.Exceptメソッドはリストだけを渡すと、既定の等値比較をします。
ただのクラスの場合は、同一オブジェクトかどうかの比較になります（ReferenceEquals）
KOZ6.0さんの回答のようにそれをカスタマイズすることもできます。

Exceptメソッドに比較方法を渡すと、元のクラスはいじらずにカスタマイズした比較が可能になります。
それがNameComparerです。

> .Nameしか指定していないのに.Ageも比較されるのでしょうか？

いいえ。名前の通りNameだけの比較です。
IdがすべてのStoreでユニークならば、Idでの比較のほうがいいでしょう。あるいはIdとName両方使ってもいいでしょう（その辺ちょっとわからなかったのでIdは省略しましたが）

Employee（Store）の変更は前段の２重ループで見ています。
Age（RECORD）が変わっていれば、ここで検出します。

Employee（Store）の増減をExceptで調べています。
Age（RECORD）が変わっていてもそこには含まれて欲しくないので、Nameだけの比較をしているわけです（Ageも含んでしまったらchange:add:del:全部に出てしまいます）

[omochi-_-]

遅くなりましたが、解説ありがとうございます。
分からなかったところが分かりました！ありがとうございました

Answer 2

まずは、比較を簡単にするために、Store クラスと StoreCls クラスの演算子をオーバーロードしましょう。

「自作クラスの演算子をオーバーロードする」
https://dobon.net/vb/dotnet/beginner/operator.html

public class Store : IEquatable<Store>
{
    public string ID { get; set; }
    public string NAME { get; set; }
    public string RECORD { get; set; }

    public override bool Equals(object obj) {
        Store other = obj as Store;
        if (other == null) return false;
        return Equals(other);
    }

    public override int GetHashCode() {
        return ToString().GetHashCode();
    }

    public override string ToString() {
        return $"ID={ID},NAME={NAME},RECORD={RECORD}";
    }

    public bool Equals(Store other) {
        return this == other;
    }

    public static bool operator ==(Store a, Store b) {
        if (ReferenceEquals(a, b)) return true;
        if (a is null || b is null) return false;
        return a.ID == b.ID && a.NAME == b.NAME && a.RECORD == b.RECORD;
    }

    public static bool operator !=(Store a, Store b) {
        return !(a == b);
    }
}

public class StoreCls : IEquatable<StoreCls>
{
    public string DATE { get; set; }
    public Store[] DATA { get; set; }

    public override bool Equals(object obj) {
        StoreCls other = obj as StoreCls;
        if (other == null) return false;
        return Equals(other);
    }

    public override int GetHashCode() {
        return ToString().GetHashCode();
    }

    public override string ToString() {
        return $"DATE={DATE},DATA.Length={DATA.Length}";
    }

    public bool Equals(StoreCls other) {
        return this == other;
    }

    public static bool operator ==(StoreCls a, StoreCls b) {
        if (ReferenceEquals(a, b)) return true;
        if (a is null || b is null) return false;
        if (a.DATE != b.DATE) return false;
        if (ReferenceEquals(a.DATA, b.DATA)) return true;
        if (a.DATA == null || b.DATA == null) return false;
        if (a.DATA.Length != b.DATA.Length) return false;
        for (int i = 0; i < b.DATA.Length; i++) {
            if (a.DATA[i] != b.DATA[i]) return false;
        }
        return true;
    }

    public static bool operator !=(StoreCls a, StoreCls b) {
        return !(a == b);
    }
}

こうしておけば、StoreCls のリストが一致しているかどうかは次のように書けます。

public static bool IsSameData(List<StoreCls> stores1, List<StoreCls> stores2) {
    if (stores1.Count != stores2.Count) return false;
    for (int i = 0; i < stores1.Count; i++) {
        if (stores1[i] != stores2[i]) return false;
    }
    return true;
}

次に

DATAが新しく増えたり消えているか、RECOADに変化があるかを判定したいです。

ということですが、これはとても難しいです。

というのは、先頭から比較していって、違うものがあった場合、その違いが削除されたことによるものか、追加されたことによるものかは、その後のデータを見ていくしかないからです。
「変更された」という判断はほぼ不可能です。(DELETE されて INSERT されたと判断するしかない)

diff という差分を求めるツールがあるので、そのロジックを参考にしてください。

Google が C# のソースを公開しているので、これを参考にすればできるかもしれません。
https://github.com/google/diff-match-patch/blob/master/csharp/DiffMatchPatch.cs

string は、char[] とほぼ等しいので、StoreCls[] と同じようなクラスを作って string と置き換えればイケるかも。

Comments

[omochi-_-]

回答ありがとうございます！
演算子もオーバーロードすることができるんですね・・・今まで知りませんでした。
(配列自体の比較まで・・・)
インスタンス自体の比較も知りませんでした。

リンク先のdiff-match-patchを調べてみました、文字列のどちらかにしかない、両方にあるを求められるんですね。

>>先頭から比較していって、違うものがあった場合
なるほど・・・確かに順番が変わってしまったら元々あるのかわからないですもんね・・・

色々知らないことが分かりましたありがとうございます！。

[KOZ6.0]

>なるほど・・・確かに順番が変わってしまったら元々あるのかわからないですもんね・・・
並び替えが発生するんですか？
キーとなる項目があるのであれば、その順に並べてしまえば追加/削除/変更の検出は容易になります。

[omochi-_-]

.DATAの真ん中が抜ければ並びが変わると持ってたんですけど
＞キーとなる項目があるのであれば
IDがキーです

そのIDを持つ要素があるか、IDを持つ要素同士のRECOAD==で比較もできますね、一番思いつきそうなのに全然考えてませんでした・・・ありがとうございます。