重複のないhashデータをフィルターする方法

Question

下記のようなデータをフィルターする方法を知りたい

// フィルターしたいデータ
// const items =
// [{id: 1, name: 'apple', course_id: 1}, 
//  {id: 2, name: 'orange', course_id: 1},
//  {id: 3, name: 'peach', course_id: 1},
//  {id: 1, name: 'apple', course_id: 1},
//  {id: 1, name: 'lemon', course_id: 2}]

// 求めている答え
// [{id: 1, name: 'apple', course_id: 1}, 
//  {id: 2, name: 'orange', course_id: 1},
//  {id: 3, name: 'peach', course_id: 1},
//  {id: 1, name: 'lemon', course_id: 2}]

// 試したコード
const items =
    [{id: 1, name: 'apple', course_id: 1},
     {id: 2, name: 'orange', course_id: 1},
     {id: 3, name: 'peach', course_id: 1},
     {id: 1, name: 'apple', course_id: 1},
     {id: 1, name: 'lemon', course_id: 2}];
let target = [];
let hoge;
for(let i=0;i<items.length;i++){
    if(target.length == 0){
        target.push(items[i])
    }else{
        hoge = items[i]
        for(let x=0;x<target.length;i++){
            if(target[x].id != hoge.id && target[x].course_id != hoge.course_id){
                target.push(hoge)
            }
        }
    }
}
console.log(target)
// としたが動きませんでした...

Answer 1

こんにちは

ご質問の題意としては、

• 配列items の要素のオブジェクトについて、プロパティのすべてが同じ値であるものが二個以上含まれないように、かつ、要素の順番は保存されている配列を target に得たい。

ということと解釈しました。（この解釈が違っていたら、コメントからお知らせください。）このようなtarget は、以下によって得られます。

Set を使用

重複をチェックするために Set を使います。

各オブジェクトの name は、アルファベットのみから構成される文字列であると仮定とすると、各オブジェクトの等値性は、id, name, course_id の順に値を連結して得られる文字列を比較すればよいことになります。この文字列を各要素の**値（value）**と呼ぶことにすると、items に出現する各要素の値を、Set に格納していけば、重複チェックの計算量をO(1)で済ませることができます。

const set = new Set();

const target = items.filter(e => {
  const value = `${e.id}${e.name}${e.course_id}`;
  if (set.has(value)) {
    return false;
  } else {
    set.add(value);
    return true;
  }
});

• 動作確認用 codepen.io: jun68ykt/pen/poyPOVG

lodash を使用

配列やオブジェクトの操作で便利なライブラリ lodash を使うと以下のように手短かに書けます。

const target = _.uniqWith(items, _.isEqual);

• 動作確認用 codepen.io: jun68ykt/pen/RwaVBza

ただし、上記はオブジェクトの等値判定に、汎用的な _.isEqualを使っているところが非効率です。先と同様にオブジェクトの値(value)を定義できるのであれば、オブジェクトの値を取得するメソッドvalueOfを作っておいて、等値判定のためにこれを利用できます。以下はその例です。

const valueOf = e => `${e.id}${e.name}${e.course_id}`;

const target = _.uniqBy(items, valueOf);

• 動作確認用 codepen.io: jun68ykt/pen/eYZWLam

なお、name プロパティに、'9apple' や 'lemon3' といったような、数字で始まる、または数字で終わる文字列が出現する可能性があるならば、オブジェクトの等値性を判定する値として、

`${e.id}${e.name}${e.course_id}`

は使えないので、オブジェクトの値(value)の別の作り方を検討する必要があります。このご質問のような課題の解決の際に、各オブジェクトの等値性を判定するための値（言い換えると、各オブジェクトを何らかのクラスのインタンスとして得ることにした場合に、そのクラスのvalueOfメソッドが返す値）をうまく決められるかどうか、というのがひとつの検討事項になり得ます。

以上、参考になれば幸いです。

追記

はじめに挙げた、Set を使うコードのほうで、Setのインスタンスをnewで作るコストが気になるようであれば、Setの替わりにプレーンオブジェクトを使うこともできます。

• 動作確認用 codepen.io: jun68ykt/pen/KKzmGLM

Comments

[nanase21]

様々な、方法をご教示いただきありがとうございます。
参考にさせて頂きます。

Answer 2

前回の拡張

const res=items.reduce((x,y)=>(!x.map(z=>z.id+"_"+z.course_id).includes(y.id+"_"+y.course_id)&&x.push(y),x),[]);

Comments

[nanase21]

ご教示いただきありがとうございます。
コードの処理の理解が追いつきませんが、参考にさせて頂きたいと思います。

[yambejp]

前回とほぼ一緒のコードですよね？
しかもロジックは前回質問者さんが提示されたものとほぼ一緒です

[nanase21]

前回は、course_idを起点として、そのデータの中の最初のデータを取得を目的として質問させて頂きました。
今回の質問では、ダブりのあるデータのみを除外する目的で質問させて頂きました。
ちょっと考えれば、前回のコードを応用してもできそうな感じですが、私の力不足で再度、似たような質問をさせて頂きました。

Answer 3

もっとパフォーマンスのよい

ご自身の filter を用いた手法で十分なパフォーマンスを得られています。

---

Setと比較してみました（開発者コンソールで複数回実行するため、var 宣言にしています）。

• console.time()
• console.timeEnd()

// 試したコード
var items =
    [{id: 1, name: 'apple', course_id: 1},
     {id: 2, name: 'orange', course_id: 1},
     {id: 3, name: 'peach', course_id: 1},
     {id: 1, name: 'apple', course_id: 1},
     {id: 1, name: 'lemon', course_id: 2}];

console.time("case1");
for(let i=0;i<100000; ++i) {
  const result = items.filter((element, index, self) => 
                     self.findIndex(e => 
                         e.id == element.id &&
                         e.name == element.name
                     ) === index);
}
console.timeEnd("case1");

console.time("case2")
for(let i=0;i<100000; ++i) {
  var rslt =  [...(new Set(items)).values()];
}
console.timeEnd("case2");

• RaspberryPi 3B+
• Chromium バージョン: 72.0.3626.121（Official Build）Built on Raspbian , running on Raspbian 9.11 （32 ビット）

にて、ざっくり、以下の結果を確認しました。

label	1st	2nd	3rd
case1:	196.70	162.02	189.81
case2:	614.45	610.00	635.04

※新しいSetオブジェクトを生成するコストが差になっているのかもしれません。

Comments

[nanase21]

ご教示いただきありがとうございます。
パフォーマンスの計測などやったことがなかったので勉強になりました。

Answer 4

const result = items.filter((element, index, self) => 
                            self.findIndex(e => 
                                        　　e.id == element.id &&
                                            e.name == element.name
                                            ) === index);

これで一応、求めている答えにはなりました。

Comments

[nanase21]

他に、もっとパフォーマンスのよい書き方があればご教示いただけると嬉しいです。

[AkitoshiManabe]

十分なパフォーマンスだと思います。本題とは関係ありませんが、console.time() / console.timeEnd() を使ったチェック方法を回答させていただきました。

[nanase21]

コメントありがとうございます。
ご教示していただいた方法について勉強させていただきたいと思います。