セットとリストの速さの違い

Question

質問

競技プログラミングの問題を解いていてリストを使うとTLE(制限時間切れ)になるものがセットを使うと楽々通ってしまうことがあり、それぞれの実行時間を調べてみました。
空のリスト、セットに10^5個の数字を追加していくだけだと両者に差はないのですが(コード1)、そこに配列から除く操作を加えると50倍近い時間差が生まれました(コード2)。

リストとセットのデータ構造の違いに由来するだろうかと思っているのですが、セットの仕組みを具体的に説明している情報が見当たりません。
どなたか詳しく教えていただけないでしょうか?

コード1

%%timeit
a = []
for i in range(10 ** 5):
    a += [i]

> 9.8 ms ± 194 µs per loop (mean ± std. dev. of 7 runs, 100 loops each)

%%timeit
a = set()
for i in range(10 ** 5):
    a.add(i)
> 9.28 ms ± 184 µs per loop (mean ± std. dev. of 7 runs, 100 loops each)

コード2

%%timeit
a = []
for i in range(10 ** 5):
    a += [i]
for i in range(10 ** 5):
    a.remove(i)
> 965 ms ± 19.5 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)

%%timeit
a = set()
for i in range(10 ** 5):
    a.add(i)
for i in range(10 ** 5):
    a.remove(i)
> 18.7 ms ± 1.24 ms per loop (mean ± std. dev. of 7 runs, 10 loops each)

Answer 1

セットの仕組みを具体的に説明している情報
cpython/Objects/setobject.c

ご参考までに。

Answer 2

list.removeがO(n)なのに対し、set.removeがO(1)だからです。(註)

listは線型探索のために要素にシーケンシャルにアクセスしなければならないのに対し、
setはハッシュ値を用いて要素にランダムアクセスすることができます。

註：
あくまで平均計算量。
ハッシュ関数の質が悪く、ハッシュの衝突が多い場合はリストより遅くなり得ます。

Comments

[退会済みユーザー]

setはランダムアクセスなんですね、速さに納得しました。

[退会済みユーザー]

> ハッシュ関数の質が悪く、ハッシュの衝突が多い場合
これは具体的にはどういう状況で起きうるのでしょうか?
詳しく解説してあるウェブページなどをご存知でしたら、教えていただければ嬉しいです。

[LouiS0616]

> これは具体的にはどういう状況で起きうるのでしょうか?

ハッシュ関数を独自に実装した場合です。

__eq__メソッドを書き換える場合、必ず__hash__メソッドも書き換えなければなりません。
これは『ハッシュ値が等しいときは常に同値である』という原則が崩れるためです。

例えば年齢と姓を属性に持つ人間クラスを作ったときに、ハッシュを単に len(名前) + 年齢 のように実装してしまうと衝突が多くなることが予想されます。
ハッシュ値がだいたい0から100くらいに収まってしまうためです。

[LouiS0616]

ああああああ、思いっきり嘘を書いてしまいました。
誤： 『ハッシュ値が等しいときは常に同値である』という原則
正： 『同値であるときは常にハッシュ値が等しい』という原則