【Perl】JSONデータの差分を取るには

Question

下記のようにJSONデータが2つあるとします。

JSON_A
[
  {
    'id' : '1',
    'name' : 'one',
    'age' : '18',
    'sex' : 'm'
  },
  {
    'id' : '2',
    'name' : 'two',
    'age' : '20',
    'sex' : 'f'
  },
  {
    'id' : '6',
    'name' : 'six',
    'age' : '5',
    'sex' : 'f'
  }
]

JSON_B
[
  {
    'id' : '2',
    'name' : 'two',
    'age' : '20',
  },
  {
    'id' : '1',
    'name' : 'one',
    'age' : '18',
    'sex' : 'm'
  },
  {
    'id' : '3',
    'name' : 'three',
    'age' : '60',
    'sex' : 'm'
  }
]

結果として、下記を取得したいです

  {
    'id' : '2',
    'name' : 'two',
    'age' : '20',
  },
  {
    'id' : '3',
    'name' : 'three',
    'age' : '60',
    'sex' : 'm'
  }

要件としては

• idをキーにして、データの重複を判定する
• データの入っている順番は保証されない
• JSON_Aから完全に重複するデータを削除し、差分のあるデータのみをJSON_Bから抽出したい

ex1) 下記は完全一致
A [{id=1,z=1,X=1},{id=2,z=2,x=2},{id=3,z=3,X=3}]
B [{id=3,z=3,X=3},{id=2,z=2,x=2},{id=1,z=1,X=1}]

ex2) 下記はid=1以外不一致
A [{id=1,z=1,X=1},{id=2,z=2,x=2},{id=3,z=3,X=3}]
B [{id=3,z=3},{id=2,z=222,x=222},{id=1,z=1,X=1},{id=4,z=4,x=4,c=4]

自分で考えてみたのですが、

• JSON_AとJSON_Bを配列にデコード
• 2つの配列をループ、その中で更にハッシュをループさせながらkeyとvalueを1つずつ比較する
• 差分があるハッシュを配列にpushする

という感じで、ネストが深くあまりスマートでないのでスッキリ書く方法があれば教えて下さい。

追記：
自分が書いたコードです…。
aとbはJSONデコード済みと見て下さい。

my $diff_data;
my $diff_flag = 0;
my $id_match_flag = 0;
foreach my $b_data (@$b) {
  foreach my $a_data (@$a) {
    if ($b_data->{'id'} eq $a_data->{'id'}) {
      $id_match_flag = 1;

      if (keys(%$b_data) ne keys(%$a_data)) {
        push @$diff_data, $b_data;
      }
      else {
        foreach my $key (keys(%$b_data)){
          unless ($b_data->{$key} eq $a_data->{$key}) {
            $diff_flag = 1;
          }
        }
      }
      if ($diff_flag) {
        push @$diff_data, $b_data;
        $diff_flag = 0;
      }
    }
  }
  unless ($id_match_flag) {
    push @$diff_data, $b_data;
  }
  $id_match_flag = 0;
}

Answer 1

たまたま同じような問題を検索していたらこのエントリーを発見したので書いておきます。

JSON::MergePatch - JSON Merge Patch implementation - metacpan.org

が、ドンピシャな感じでしょうか。

データ構造の差分をとるモジュールを使うと良さそうですかね。

• Struct::Diff - Recursive diff tools for nested perl structures - metacpan.org
• Data::Diff - data structure comparison module - metacpan.org
• Data::Difference - Compare simple hierarchical data - metacpan.org

Answer 2

初回答なので、空気が読めてないかも知れません。
terion さんの回答と似てますが、
このケースだと、普通に、ハッシュを文字列化して、
キャッシュと比較するだけで回答が得られます。

use Data::Dumper ;
# JSON => ARRAY 部分は省略し、@A, @B とする。
sub _make_key {
    my %h = %{$_[0]} ;
    return join ',', map{ $_, $h{$_} } sort keys %h ;
}

my %cache = map {+( _make_key $_ ), $_ } @A ;

print Dumper [ grep { ! defined $cache{ _make_key $_ } } @B ] ;

Comments

[nintail_fox]

試してみましたが、JSONが完全に一致しているかどうかしか得られませんでした…。

[bunzaemon]

こちらの手元では正しい結果が得られます。
失礼ですが、grep ブロックの中の !（ビックリマーク）を省略していませんか？

Answer 3

1件ずつCSVにして、1行に連結。（CSVでなくても）
そのご、Algorithm::Diff を使用して比較
差分のCSVを JSONに変換

use Algorithm::Diff qw(diff);
use Data::Dumper;
use JSON;

my $json_A = '[{"id" : "1", "name" : "one", "age" : "18", "sex" : "m"}, {"id" : "2", "name" : "two", "age" : "20", "sex" : "f"}, {"id" : "6", "name" : "six", "age" : "5", "sex" : "f"}]';
my $data_A = decode_json($json_A);
my @line_A = ();
foreach my $item ( @$data_A ){
    my @csv = ( $$item{'id'}, $$item{'name'}, $$item{'age'}, $$item{'sex'});
    push @line_A, join( ',', @csv);
}

my $json_B = '[{"id" : "2", "name" : "two", "age" : "20"}, {"id" : "1", "name" : "one", "age" : "18", "sex" : "m"}, {"id" : "3", "name" : "three", "age" : "60", "sex" : "m"}]';
my $data_B = decode_json($json_B);
my @line_B = ();
foreach my $item ( @$data_B ){
    my @csv = ( $$item{'id'}, $$item{'name'}, $$item{'age'}, $$item{'sex'});
    push @line_B, join( ',', @csv);
}

@sort_line_A = sort {$a <=> $b} @line_A;
@sort_line_B = sort {$a <=> $b} @line_B;

@diffs = diff( \@sort_line_A, \@sort_line_B );

@out_json = ();
for my $dline ( @diffs ) {
    for my $d ( @$dline ) {
        if ( $d->[0] eq "+" ){
            #print $d->[0] . "\t" . $d->[2] . "--\n";
            my @jdata = split( ',', $d->[2]);
            my %item = ();
            $item{'id'}   = @jdata[0] if ( @jdata[0] );
            $item{'name'} = @jdata[1] if ( @jdata[1] );
            $item{'age'}  = @jdata[2] if ( @jdata[2] );
            $item{'sex'}  = @jdata[3] if ( @jdata[3] );
            push @out_json, \%item;

        }
    }
}
print encode_json( \@out_json ) . "\n";

Comments

[nintail_fox]

使い方が良くないのか、Algorithmだと細切れになりすぎて出来ませんでした…。

[退会済みユーザー]

ソースを張りました。
json のkey value で連結すれば、もっとよいかも。

Answer 4

検索してみると以下のような説明ページがありました。
これらは参考になりますか？
https://blog.kteru.net/perl-array-sum-differentce-product/
http://d.hatena.ne.jp/tsucchi1022/20090419/1240152657
http://dev-man.seesaa.net/article/117885645.html
http://qiita.com/stm3/items/f5d825c5214a7848305a

Comments

[nintail_fox]

ありがとうございます。
単純に配列の差分だけなら取れるのですが、
配列の中のハッシュの重複…となるとご提示頂いた方法では使用できないようです。
せっかくお調べ頂いたのにすみません。