データのマッチ度の調査

Question

フィールド名の調査

3年ほど前にテーブルAからテーブルBにデータを移したのですが、
どのフィールドにデータを移行したのか調査する必要が出たらしく、

テーブルAのフィールドのデータが、テーブルBのどのフィールドに移ったのか
を調べているのですが、正直どうすればいいのかわからないって状態です。

仮に
テーブルA
列１
列２
列３

テーブルB
列１
列２
列３

みたいな風に並んでいたら、どういう風に調べればいいのでしょうか？
質問が曖昧かもしれませんが、ご回答よろしくお願いします。

Comments

[sazi]

移したとする判断条件は何ですか？
移すのはどのような方法で行ったのでしょうか？
テーブルAの内容をBに追加・更新ですか？

[piropiropiro]

私が移したわけではないので、判断条件はなんともいえません。
各データを見るに、AからSELECT→BにINSERT、
一部のデータは表示が変わったり、B自体のデータが追加、更新しています。

[piropiropiro]

検索していろいろ調べてみた結果、主キー自体の値が変わっていたみたいです。
やりようがないということで、回答をしめます。
回答していただいた方、ありがとうございました。

Answer 1

union マージを使用して、相違があるデータを抽出します。
その内容を条件にどのデータに相違があるかを出力します・
※記述にKeyとあるのは一意キーを表しています。

select * from (
  select 'A' type, * from ta
union all
  select 'B' type, * from tb
) 
where key in (
       select key from (
          select * from ta
        union 
          select * from tb
       )
       group by key
       having count(*)>1
     )
order by key, type

Comments

[sazi]

データ量次第ですけど、実用に耐えうるレスポンスになるかどうかは不明ですけどねぇ

Answer 2

coco_bauerさんが書かれているように地道に調べるしかないと思います。

気休めに各フィールドをソートして出力する感じでしょか。
データ件数もフィールド数も分からないのであれですが
多いならサンプリングの方法を検討するのかなあ。

完全一致前提なら考えることは少なくなりますけどねえ。

Comments

[piropiropiro]

Aのフィールド１に対して、Bのフィールド全体の一致率を調べるという
SQLは何とか作ることができました。
ただAのフィールド自体が数十とあるので、そこは地道に調べるしかないですね・・・

Answer 3

テーブルAのデータのほとんどがテーブルBに移されているのであれば、両方のテーブルで各フィールドのデータのリストを作成し、それらをテーブル間で比較するのが素直なように思います。

例えば、テーブルAが

フィールド1	フィールド2	フィールド3
山本	2	Tky
鈴木	1	Osk
斎藤	1	Fko
トランプ	1	Iwa

テーブルBが

フィールド1	フィールド2	フィールド3
Osk	鈴木	1
Iwa	トランプ	1
Fko	斎藤	1

だとして、これから作られる、各フィールドのデータのリストは、

テーブルA
フィールド１　[斎藤,鈴木,トランプ,山本]
フィールド２　[1,1,1,2]
フィールド３　[Fko,Iwa,Osk,Tky]

テーブルB
フィールド１　[Fko,Iwa,Osk]
フィールド２　[斎藤,鈴木,トランプ]
フィールド３　[1,1,1]

データのリストが全て揃ったところで、テーブルAのフィールド１のデータのリスト([斎藤,鈴木,トランプ,山本])と、テーブルBの各フィールドのデータのリスト（[Fko,Iwa,Osk],[斎藤,鈴木,トランプ],[1,1,1]）を比較すれは、フィールド２のデータのリストとの類似度が一番高いので、テーブルAのフィールド１は、テーブルBのフィールド２に移った可能性が高いと推測できます。

同様にテーブルAの他のフィールドのデータのリストとテーブルBの各フィールドのデータのリストを比較するという作業を繰り返せば、それぞれのフィールドについて移行先の可能性の高いフィールドを推測できると思います。

Comments

[piropiropiro]

詳しく回答していただき、ありがとうございます。
coco_bauerさんの言ったとおり、地道に調べてみようと思います。
部分一致である以上最終的には推測するしかないのがもやもやしますね・・・

[coco_bauer]

他人が過去に行った行為を間接的に推測しようとするのですから、スッキリさせるのは難しいですね。
始業日時、終業日時、就労時間、超過勤務時間、といった日時に関するフィールド複数あると、フィールドどうしの類似度を見つけるのが面倒になりますが、統計的に処理をすることで類似性が見つかる場合が有ります。普通の会社だと始業日時は午前中が多く、終業日時は夕方が多い、といった傾向がありますから。

Answer 4

質問にCREATE TABLE文くらい提示できると適切なコメントが付き易いです。PRIMARY KEY があればPRIMARY KEYでJOINして、

SELECT
    A.COL1
  , CASE WHEN A.COL1 = B.COL1 THEN '○' END AS COL1_SAME
  , A.COL2
  , CASE WHEN A.COL2 = B.COL2 THEN '○' END AS COL2_SAME
  , A.COL3
  , CASE WHEN A.COL3 = B.COL3 THEN '○' END AS COL3_SAME
-- など同じデータ型の列を比較してみては？
FROM TABLE_A A
INNER JOIN TABLE_B B
ON A.PK = B.PK -- PRIMARY KEYの列名
ORDER BY A.PK ;

Comments

[piropiropiro]

そうですね、CREATE TABLEくらいは書いておくべきでした。
完全一致だとOrlofskyさんの書き方でも間違いなかったのですが、
書き忘れてしまいましたが、今回の場合部分一致なのでうまくいきませんでした。

ただ、INNER JOINからSELECTするという部分から、
UTL_MATCH.JARO_WINKLERを組み合わせて、何とか解決にたどり着くことができました。
つたない情報の中回答いただきありがとうございます。