SQLでのデータ取得について

Question

##　疑問点
SQLでデータの取得をしているのですが、上手くデータが取得できなかった部分がありました。
解決はしたのですが、なぜ取得できなかったのかが考えても調べてもわからなかったので質問しました。

テーブル情報

必要なカラムだけ抜粋してます。

itemsテーブル

id	name
10	A
11	B
12	C

item_informationsテーブル

id	item_id
1	10
2	10
3	11
4	12

やりたいこと

item_informaitonsテーブルのitem_idが重複しているレコード、新規のレコードを別々に取得したい。
重複しているレコード(id: 1,2)のうち、最初のレコード(id: 1)は新規として扱いたい。

以下の様な感じです。

新規 = item_informationsの(id: 1,3,4)のレコード
重複 = item_informationsの(id: 2)のレコード

問題点

新規のレコードの取得は以下のクエリで実現しました。

SELECT * 
FROM item_informations 
GROUP BY item_id 
ORDER BY id asc

以下のレコードが取得できています。

id	item_id
1	10
3	11
4	12

重複のレコードをクエリを使用して取得しようとして問題が発生しました。

##　問題があったクエリ

SELECT * 
FROM item_informations 
WHERE id NOT IN (
  SELECT id 
  FROM item_informations
  GROUP BY item_id
  ORDER BY id asc
);

サブクエリでは、以下が取得できています。

id
1
3
4

これをサブクエリとして、NOT INで省けば取得できると考えました。
結果として何も取得されず、空の値が返ってきました。

疑問点まとめ

知りたいことは、問題があったクエリでは、なぜデータの取得ができなかったのかです。

憶測ですが、
GROUP BYは重複をまとめるもの。
省いているわけではないので、見えなくても(id: 2)のレコードも含まれている？
だからそのままNOT INで省こうとしたら全てのレコードが省かれたのではないか？
と考えています。

ちなみに、重複のデータ取得に関しては、SQLを使用しない形で解決しております。

解決はしているのですが、理由がわからないままだと今後も同じことをしてしまうと思ったので理由を調べています。
いろいろ調べたのですがこれと言った答えが見つかりませんでした。
初心者の憶測で終わらせてしまうのは心許ないので、理由が分かるかたがいれば回答していただけると幸いです。

Comments

[takasima20]

「問題があったクエリ」のサブクエリのみを実行しましたか?

[siroyuri]

実行しています。
item_informationsテーブルの(id: 1, 3, 4)のidカラムのみ取得しています。

新規のレコード取得に使用したクエリのselectを*からidのみに限定したクエリだったので結果の表記を省いてしまっていました。

[takasima20]

SELECT id で実行したらなんかへんなの出ませんか?

[YT0014]

このSQLは、DBやバージョンにより、動作が異なります。
標準SQLを想定した場合も、標準SQL92以前では、エラーとなります。
対象のDBとバージョンをご提示ください。
また、質問用に省略されたカラムの挙動に依存する可能性もあります。
実際に、質問の通りのテーブルを作成しての挙動確認もお願いいたします。

Answer 1

考えていた通り、GROUP BYは重複を１行にまとめているだけであって、除外しているわけではない。
見えていないだけで実際には重複したレコードの情報も含まれていた。
だから、NOT INで除外しようとした時に全てのレコードが除外の対象になってしまった。
という理由が正解だった様です。

Answer 2

重複というのは、同じデータが複数存在している場合の事を言います。
Group byは同じものを纏める事ですから、複数なのかどうかの判断が必要です。
単純なものではhavingを用います

SELECT * 
FROM item_informations 
WHERE item_id IN (
        SELECT item_id
        FROM item_informations
        GROUP BY item_id
        having count(*) > 1
      )
ORDER BY id asc

新規のレコードの取得は以下のクエリで実現しました。

重複したものを除くなら上記の反転ですね。

SELECT * 
FROM item_informations 
WHERE item_id not IN (
        SELECT item_id
        FROM item_informations
        GROUP BY item_id
        having count(*) > 1
      )
ORDER BY id asc

Answer 3

GROUP BY item_id
で取得しているのは、新規、というより、item_idのユニークな（重複のない）リストです。

重複しているレコードを取得したいのであれば、
１．COUNTとGROUP BYで同一のitem_idを持つレコードを数える
２．COUNTしたレコード数が2以上のものをHAVINGで絞り込む
といったことをするのが良いかと思います。

さっと検索しただけですが、以下の記事などが参考になるのではないでしょうか。
https://johobase.com/extracts-duplicate-records-sql/

また、新規か重複かを一度に判断できるようにしたいのであれば、以下のようにrow_number()関数を使う等でもよいかもしれません。

select
    id,
    item_id,
    row_number() over (partition by item_id order by id) as choufuku_count
from
    hoge

Comments

[siroyuri]

回答ありがとうございます。
「ユニークな（重複のない）リスト」というのは、見えていないだけで重複している全てのレコードの情報も同時に取得されているのでしょうか？
だからNOT INでサブクエリに使用しようとすると全てのレコードが除外されてしまう、という考えでいいのでしょうか？

[JPYJPY]

なるほど、気になっているのは先のクエリで何も返ってこない理由の方ですね。
サンプルのテーブルの通りだとしたら返ってこない理由がちょっと思いつかないですが、実際のテーブルにnullが含まれている場合は返ってこない場合があります。
https://www.ilovex.co.jp/blog/system/cat820/sqlnot-in.html
サンプルが実データだとしたらすみません。