C#: List<string>を格納するListの重複をなくしたい

Question

実現したいこと

お世話になります。C#にて、高速に配列処理を実施したく、下記のようなことを実現できないか検討しております。

子リスト「List<string>」 を格納する親Listへ、子Listを重複なくAddしたい。
具体的には、下記コードとなります。

該当のソースコード

List<List<string>> parentList = new List<List<string>>();
List<string> list1 = new List<string>() { "a", "b" };
List<string> list2 = new List<string>() { "a", "c" };
List<string> list3 = new List<string>() { "a", "b" };

parentList.Add(list1);
parentList.Add(list2);
parentList.Add(list3);  // 内容が重複しているので、Addされないようにしたい

試したこと

list1 と list3は内容が同じなので、
list1.SequenceEqual(list3);
と実行すると、trueが戻り、内容の判定ができることはわかりました。
しかし、Addする際に毎回すべての子List要素をForループでSequenceEqualにて判定すると処理速度が低下してしまうため、他に良い方法がないか検討しております。

もし、良い方法がございましたらご教示いただければ幸いです。

Comments

[Zuishin]

List<string> を使う限り高速化は難しい気がします。これの使用法と、子要素の条件によってはできるかもしれません。

[k.matsuda]

とりあえずすべての要素をListに入れてから、重複を削除するのはどうでしょう？

[Kumaaicho]

Zuishin様、k.matsuda 様
ご回答ありがとうございます。初めての投稿にこんなに早くレスポンス頂き感動しております。
>List<string> を使う限り高速化は難しい…
List<string>であるとその後のデータ取り扱いが便利になりますのでこのような形式を検討しておりましたが、最悪は改行コードなどを区切り文字とした連結文字列にする、という案を採用しようかと考えています。

>とりあえずすべての要素をListに入れてから、重複を削除…
この方法にて、「Distinct」というメソッドを試してみましたが、うまく重複削除されず断念しました。Distinctの使い方が間違っているかもしれませんので、もう少し検討してみます。

[Zuishin]

これの使用法と、子要素の条件によってはできるかもしれません。

[Zuishin]

たとえば要素の数が二つと決まっているなら List<string> の代わりにタプルが使えるので次のようにできます。
var source= new List<(string, string)>()
{
("a", "b"),
("a", "c"),
("a", "b")
};
var dest = source.ToHashSet().ToList();

[Zuishin]

あるいは
var dest = source.Distinct().ToList();

[Zuishin]

これは「たとえば」の話で、要素の数によらず Distinct を使うこともできますが、List<string> のままでは使えません。

[Kumaaicho]

Zuishin様
ご回答ありがとうございました。今回の要件では要素数は可変でしたので、Distinct方式で検討を進めてみたいと思います。

Answer 1

        class ListEqualityComparer : IEqualityComparer<List<string>>
        {
            public bool Equals(List<string> list1, List<string> list2)
            {
                return list1.SequenceEqual(list2);
            }

            public int GetHashCode(List<string> list1)
            {
                return list1.ToArray().GetHashCode();
            }
        }

            parentList = parentList.Distinct(new ListEqualityComparer()).ToList();

要素数が2と決まっているのならば、

            parentList = parentList.GroupBy(a => new { First = a.First(), Last = a.Last() }).Select(g => g.First()).ToList();

Comments

[Kumaaicho]

x_x様
ご回答ありがとうございます。ご教示いただいたソースコードを実行したところ、Distinctにて重複がカットされませんでした。そこで、以下のように修正してみたところ、期待通り重複カットされるようになりました。

```C#
class ListEqualityComparer : IEqualityComparer<List<string>>
{
public bool Equals(List<string> list1, List<string> list2)
{
return list1.SequenceEqual(list2);
}

public int GetHashCode(List<string> list1)
{
//return list1.ToArray().GetHashCode();
return string.Join(",", list1.ToArray()).GetHashCode();
}
}
```

まずは、こちらの方法で処理速度を測定し実用性を確認させていただきます。ありがとうございました。

Answer 2

C#は使ったことないですが、javaだとSetがあるので調べてみたら、こんなのありました。
C# HashSetのサンプル

同じものなら上書きされるかと思います～

あと、、、

どういう経緯でこのようなコードになったのかはわかり得ませんが、
list1～3 のリスト、サイズ固定の配列ではだめなんでしょうか？
可変にする理由がないのであれば、固定長の方が処理速度上がりそうな。。。
(C#をあまりわかっていないので、ただの余談ですが。）

Comments

[Zuishin]

ハッシュが要素と無関係なのでそのままでは使えません。
またサイズ固定でも処理速度は上がりません。

[Kumaaicho]

kaputaros様
ご回答ありがとうございます。HashSetにつきましては、以下のように確認してみました。
HashSet<List<string>> ts = new HashSet<List<string>>();
ts.Add(list1);
ts.Add(list2);
ts.Add(list3);

当初、list3がAddされないことを期待しておりましたが、残念ながら追加できてしまいました…。
また、list1～3は要素数が可変になりますので、固定配列にはできないという制約がございます。

もう少し、HashSet関係で解決策がないか、検討してみます。