複数の特定のkeyを取り除いた辞書を作る効率的な方法

Question

題の通りの事をする関数を以下のように二種類作ってみたところ

unnecessary_keys = ('s', 'd', 't', 'step', 'duration', 'transition', )

def method_1(d):
    d = d.copy()
    for key in unnecessary_keys:
        d.pop(key, None)
    return d

def method_2(d):
    return {
        key: value for key, value in d.items()
        if key not in unnecessary_keys
    }

sample_dict = {'x': 100, 'y': 200, 'd': 10, 't': 'in_cubic', }
assert method_1(sample_dict) == {'x': 100, 'y': 200, }
assert method_2(sample_dict) == {'x': 100, 'y': 200, }

from timeit import timeit
print(timeit(lambda: method_1(sample_dict)))  # => 5.955087270995136
print(timeit(lambda: method_2(sample_dict)))  # => 7.697444974000973

内包表記を使っていないmethod_1()の方が速いという結果になりました。これよりも速い方法を知ってませんか？

補足

• 与えられる辞書に含まれるunnecessary_keys以外のkeyは一つか二つである事が多いです。(つまりsample_dictのような物が多い)
• unnecessary_keysは上に書いた内容で常に固定されています。 除きたいkeyは上に書いた6つで固定されています。

環境

CPython 3.7.1

追記

得られた回答を元に以下の6つも比較対象に加えた結果

unnecessary_keys = ('s', 'd', 't', 'step', 'duration', 'transition', )
intersection = set(unnecessary_keys).intersection


def method_3a(d):
    '''ppaulさんのmethod_3に少し手を加えた物'''
    d = d.copy()
    for key in intersection(d):
        d.__delitem__(key)
    return d


def method_3b(d):
    '''method_3aの'd.__delitem__'をloopの外に出した物'''
    d = d.copy()
    delitem = d.__delitem__
    for key in intersection(d):
        delitem(key)
    return d


def method_4a(d):
    '''ppaulさんのmethod_4'''
    d = d.copy()
    for key in unnecessary_keys:
        if key in d:
            d.__delitem__(key)
    return d


def method_4b(d):
    '''method_4aの'd.__delitem__'をloopの外に出した物'''
    d = d.copy()
    delitem = d.__delitem__
    for key in unnecessary_keys:
        if key in d:
            delitem(key)
    return d


def method_5(d):
    '''quickquipさんの方法'''
    d = d.copy()
    for key in unnecessary_keys:
        if key in d:
            del d[key]
    return d

def method_6(d):
    '''quickquipさんの方法'''
    d = d.copy()
    for key in intersection(d):
        del d[key]
    return d

1 : 6.086940804998449
2 : 7.495010836995789
3a: 5.200945402000798
3b: 5.059846481999557
4a: 5.46594832399569
4b: 5.468696205003653
5 : 5.198188450005546
6 : 4.907909608999034

以下の順となりました。code全体

1. method_6
2. method_3bとmethod_5 (順位は不安定。method_3bの方が速いことが多い)
3. method_3a
4. method_4aとmethod_4b (順位は不安定)
5. method_1
6. method_2

Answer 1

def method_straight(d):
    d = d.copy()
    for key in unnecessary_keys:
        if key in d:
            del d[key]
    return d

が結局一番速いんじゃないでしょうか。

---

intersectionが(こちらの環境よりも)利くみたいなので

def method_6(d):
    d = d.copy()
    for key in intersection(d):
        del d[key]
    return d

も試していいかと。

Comments

[quickquip]

macとLinuxの3.7.xではこれが速かったです。
OS,CPUアーキテクチャ,CPythonのビルドが違えば結果が違う可能性もありそう。

[gottadiveintopy]

ありがとうございます。追記にあるmethod_3bと並んで一番速いという結果になりました。

[gottadiveintopy]

if key in d:
del d[key]

の方が

d.pop(key, None)

より速いのは知らなかったですね、勉強になりました。

[quickquip]

Python3で時間が掛かるのはメソッド呼び出しという印象です。
意外に結果が違うのでOSが知りたいように思いました……。

[gottadiveintopy]

OSはLinux Mint 19.3 MATE Editionで
Pythonは pyenvで入れた物で
CPUは多分x86_64系ですね。

https://ark.intel.com/content/www/jp/ja/ark/products/83256/intel-nuc-kit-nuc5i3ryk.html

[gottadiveintopy]

あ〜 method_6()が一番速くなりました。ただPyPIで公開しているlibraryのcodeなので私の環境に最適化されすぎるはまずいかもです。

[quickquip]

「unnecessary_keys 固定」が前提ならintersectionを使わず素直に書くのが意図も伝わっていい気がします

Answer 2

可能性があるのは、こんなところでしょうか。

def method_3(d):
    d = d.copy()
    for key in set(unnecessary_keys).intersection(a):
        d.__delitem__(key)
    return d

def method_4(d):
    d = d.copy()
    for key in unnecessary_keys:
        if key in d:
            d.__delitem__(key)
    return d

測定していないので、はかってみてください。

Comments

[gottadiveintopy]

ありがとうございます。どちらの方法も私の物より速くなりました。