常連

id | status
--------------
1  | 1000
2  | 1000
3  | 2000
4  | 2000
5  | null
6  | null
7  | 3000

SELECT id, status,count(*) FROM 対象テーブル
GROUP BY status

としたとき、statusがnullの値はグループ化せず、
countを取る方法を知りたいです。



希望するレスポンスは
id | status | count(*)
--------------------
1  | 1000   | 2
3  | 2000   | 2
5  | null   | 1
6  | null   | 1
7  | 3000   | 1

SQLのGROUP BYでNULLの値はグループ化をしない方法ありますか？

テーブルA

CREATE table table_a
(
YYYYMM CHAR(6) NOT NULL,
CD1 CHAR(6) NOT NULL,
CD2 CHAR(2) NOT NULL,
CD3 CHAR(5) NOT NULL,
CD4 CHAR(2) NOT NULL,
CD5 CHAR(3) NOT NULL,
MAX1 CHAR(5) NOT NULL ,
MIN1 CHAR(5) NOT NULL,
CD6 CHAR (3) NOT NULL,
PRIMARY KEY (YYYYMM, CD1, CD2)
);

table_aには約3000万件のレコードがあります。
実行環境はAccess2016とOracleになっておりました。
これをAccess2016とMySQLで実現することになりました。
CD3,CD4,CD5をキーにしてMAX,MIN,COUNTの集合関数を使用します。
しかし、処理速度がOracleでは数分でしたがMySQLに変更すると処理時間が大幅に増え数十分から
１時間以上かかるようになりました。SQLについてはOracleとMySQLは同じ内容です。

今までのSQL
SELECT 
    CD3
    , CD4
    , CD5
    , MAX(MAX1)
    , MIN(MIN1)
    , COUNT(CD6)
FROM table_a
GROUP BY
    CD3
    , CD4
    , CD5
で実現定義してしておりました。

これをMySQLでは例として
SELECT 
    CD3
    , CD4
    , CD5
    , MAX(MAX1)
    , MIN(MIN1)
    , COUNT(CD6)
FROM
   (
     SELECT DISTINCT
         CD3
         , CD4
         , CD5
     FROM table_a
    ) a
GROUP BY
    CD3
    , CD4
    , CD5
イメージ的には、まずCD3,CD4,CD5で重複を除外しその結果からグルーピングして集合関数を
利用すればスピードアップが図れると思っておりますが、上記のSQLでは文法エラーになります。
この文法では文法エラーになって当然です。
とにかく処理時間を短縮する手法として皆様のお知恵をお借りしたいと思っております。
ご教示のほどよろしくお願いいたします。


MySQLのGROUP BYとDISTINCTについて質問があります。

javaで複数の変数でgroup byをして、マージされた数値型のデータをsumし、list型にしてデータを抽出したいです。
短く綺麗に書ける方法があれば教えていただきたいです。

-Item class
```Java
import lombok.AllArgsConstructor;
import lombok.Data;

@Data
@AllArgsConstructor
public class Item {
    private String orderId;
    private String itemId;
    private String itemName;
    private String itemGenre;
    private Integer number;

}
```
以下のデータを用意した時、
```java
final ArrayList<Item> items = new ArrayList<>();
   items.add(new Item("00-82-947", "8810", "item name1", "01", 1));
   items.add(new Item("00-82-952", "8810", "item name1", "01", 2));
   items.add(new Item("00-91-135", "8315", "item name2", "02", 3));
   items.add(new Item("00-91-140", "8315", "item name3", "02", 4));

   // TODO データ抽出処理...(itemId, itemName, itemGenreが同じデータがある場合、numberを合計してマージする)
   // list型
   System.out.println(items);
```
以下の結果になるようにデータを抽出したいです。
orderIdが"00-82-952"と"00-82-947"のデータはitemId, itemName, itemGenreが同じなのでgroup byされ、numberがsumされ3(=1+2)になります。またSQLでgroup byするときと同じように、key(ここではorderId)が小さい方を残したいです。この例だとorderIdが"00-82-952"と"00-82-947"のデータレコードがgroup byされて、"00-82-947"が残ります。
```java
[Item(orderId=00-82-947, itemId=8810, itemName=item name1, itemGenre=01, number=3), 
Item(orderId=00-91-135, itemId=8315, itemName=item name2, itemGenre=02, number=3), 
Item(orderId=00-91-140, itemId=8315, itemName=item name3, itemGenre=02, number=4)]
```
やりたいことはSQLで表現すると以下になります。
```SQL
select orderId, itemId, itemName, itemGenre, sum(number) as number
from item
group by itemId, itemName, itemGenre;
```

調べたところ以下の方法のようにDtoにequalsとhasCodeをオーバーライドしてgroup byしたい変数を追加すれば実現できますが、
これだとgroup by以外の変数がnullになってしまい(今回だとorderId)、orderIdをsetする処理を書く必要があります。
http://codestudyblog.com/questions/sf/0421195604.html
```java
users.stream()
.collect(Collectors
.groupingBy(user -> new User(user.name, user.phone, user.address), 
      Collectors.summarizingLong(user -> user.scope))
      ).forEach((k,v) -> {
              k.scope = v.getSum();
              System.out.println(k);
           });
```

また以下のようにCollectors.groupingByを使ってMapにすることで実現できそうですが、今回はgroup byの条件が３項目なので、Mapが3つできてしまい、listにするのにコードが長くなってしまいます。
https://stackoverflow.com/questions/28342814/group-by-multiple-field-names-in-java-8
```Java
Map<String, Map<Integer, List<Person>>> map = people
    .collect(Collectors.groupingBy(Person::getName,
        Collectors.groupingBy(Person::getAge));
```

javaで複数の変数でgroup byしてリストにする方法について

MySQLです。
グループごとにorder by、limitを掛けたレコードを取得したいのですが、いまいち方法が分かりません。
レコードの中でgroup by して、各グループごとにある値が最大値であるレコードだけを持ってきたテーブルが作成したいです。

```
例：商品マスタに以下のようなテーブルがあった時、
種類　　　番号　　　名前
フルーツ　　１　　　りんご
フルーツ　　２　　　バナナ
フルーツ　　３　　　みかん
お菓子　　　１　　　チョコ
お菓子　　　２　　　せんべい

欲しいデータ：
種類　　　番号　　　名前
フルーツ　　３　　　みかん
お菓子　　　２　　　せんべい
```

ある値が最大値であるものを取得する方法として、
order by と limit 1 の合わせ技を使用することで実現可能というところまでは納得したのですが、
これとgroup by が思うように組み合わせられません。
group by はorder by よりも先に処理されるとのことだったので、
順番的にはグループ化→並び替えでできるのかなと思ったのですが…
グループごとにorder by , limitをかけるというのはで実現可能でしょうか？

さらに言うならば、上記に種類マスタのようなものがありまして、種類マスタに対してそれぞれ番号がMAXである商品マスタのレコードを結合したい、というのが最終目的なのですが、
もしよい方法ご存知でしたら教えて頂きたいです。

[MySQL] groupの内部でorder byやlimitを掛けたい

前提・実現したいこと

下記SQLをサブクエリなしで実現したい

ソースコード

Oracle 11g

SELECT 
  A.ID,
  A.TYPE,
  SUM(B.AMOUNT_A) AS AMOUNT_A,
  SUM(B.AMOUNT_B) AS AMOUNT_B
FROM 
  (
    SELECT
     ID,
     TYPE,
    FROM ID_MASTER
    WHERE LOCATION = 'JPN'
    AND   CATEGORY = 'ABC'
    GROUP BY
      ID,
      TYPE
  ) A
LEFT OUTER JOIN 
 (
    SELECT
     ID,
     TYPE,
     SUM(AMOUNT_A), AS AMOUNT_A,
     SUM(AMOUNT_B), AS AMOUNT_B
     FROM TMP_TABLE
     WHERE LOCATION = 'JPN'
     AND   DISP_TYPE = 'ABC'
     GROUP BY
       ID,
       TYPE,
       TMP_NAME
 ) B
ON A.CODE = B.CODE
AND A.TYPE = B.TYPE
ORDER BY 
 A.ID,
 A.TYPE 
; 

SQLのチューニング中で上記のようなSQLをサブクエリを使わず実現したいのですがハマっております。

SQLのサブクエリを使用した結合で

Python初心者で大変恐縮なのですが、以下のようなDataFrameを1分単位でまとめてログの出現回数を集計したいと思っているのですが，Groupbyを使いこなせずに困っています。

index |                   date |    log
0       | Aug 30 17:03:35 | abcdefg
1       | Aug 30 17:03:50 | hijklmn
2       | Aug 30 17:04:35 | opqrstu
3       | Aug 30 17:05:01 | wxyzabc
4       | Aug 30 17:05:15 | defghij
5       | Aug 30 17:05:20 | klmnopq
　　　　　　↓
index |             date | count
0       |Aug 30 17:00 |      0 
1       |Aug 30 17:01 |      0
2       |Aug 30 17:02 |      0
3       |Aug 30 17:03 |      2
4       |Aug 30 17:04 |      1
5       |Aug 30 17:05 |      3

(※ここでcountはその時間帯（分）におけるログの出現回数(内容は無視)を示しています。)

出来るのであればCount関数とうまく組み合わせたいと思っているのですが、
Python,Pandas,Groupby等に詳しい方、ご教授頂けますと幸いです。

【Groupby】DataFrameのデータを1分単位で集計したい

```ここに言語を入力
入力テーブル


CREATE table INTBL1
(
TENCD CHAR(3) NOT NULL,
SHMKCD CHAR(2) NOT NULL,
UCWKCD CHAR(4) NOT NULL,
STIDATE DATE NOT NULL,
RYUCD CHAR(1) NOT NULL,
KGK INTEGER ,
KBN CHAR (1),
PRIMARY KEY (TENCD, SHMKCD, UCWKCD, STIDATE, RYUCD, KGK)
);

出力テーブル
CREATE table OUTTBL1
(
SHMKCD CHAR(2) NOT NULL,
UCWKCD CHAR(4) NOT NULL,
STIDATE DATE NOT NULL,
RYUCD CHAR(1) NOT NULL,
GKIKNS1 INTEGER,
GKIKGK1 INTEGER ,
GKIKNS2 INTEGER,
GKIKGK2 INTEGER ,
KBN CHAR (1),
PRIMARY KEY (SHMKCD, UCWKCD,STIDATE)
);

文

SELECT 
  SHMKCD,
  UCWKCD,
  STIDATE,
  RYUCD,
  CASE WHEN RYUCD = '1' THEN COUNT(STIDATE) ELSE 0 END,
  CASE WHEN RYUCD = '1' THEN SUM(KGK) ELSE 0 END,
  CASE WHEN RYUCD = '0' THEN COUNT(STIDATE) ELSE 0 END,
  CASE WHEN RYUCD = '0' THEN SUM(KGK) ELSE 0 END,
  CASE WHEN COUNT(KBN = '1') > 0 THEN '1' ELSE '0' END
FROM INTBL1
GROUP BY SHMKCD, UCWKCD, STIDATE
;

エラー
SQL   : 列"intbl1.ryucd"はGROUP BY句で出現しなければならないか、集約関数内で使用しなければなりません
```参照元のテーブル
店コード
種目コード
内訳コード
指定日
理由コード
金額
区分

　出力先のテーブル
店コード
種目コード
内訳コード
指定日
件数＿１
合計金額＿１
件数＿２
合計金額＿２
区分

これを種目コード、内訳コード、指定日でgroup byして件数をカウントし、金額を合計したいです
そこは普通に指定日でcountとか金額をsumすればいいと思うのですが、
入れる先のテーブルの列を理由コードによって変えたいんです
理由コードが１なら件数＿１と合計金額＿１に、それ以外なら件数＿２と合計金額＿２に入れたいです。

また、集約したレコードの中に区分が１のものが１つでも含まれていたら、入れる先のテーブルの区分を１にしたいんです

case when うんたらー　then '1' else '0' end
とかselect文に書いてたら区分と理由コードはgroup by句で出現しなければならないか、集約関数内で使用しなければなりませんと怒られました。
実際のテーブルは今さわれるところにないので、今てきとうに作りました。間違いがあるかもしれませんがとりあえずはこれでお願いします。
dbはpostgresqlです

group by 列名

pandas dataframeで、複数の列をグルーピングして列ごとで合計出したいのですが、
良い方法ありますでしょうか。

data1
|列1|列2|列3|・・・|列n
|:--|:--:|--:|・・・|n
|Group1|3|1|・・・|n1
Group2|4|3|・・・|n2
Group1|4|6|・・・|n3

data2(得たいdataframe)
|列1|列2|列3|・・・|列n
|:--|:--:|--:|・・・|n
|Group1|7|7|・・・|n1+n3
Group2|4|3|・・・|n2

現状は
`pd.DataFrame(data1.groupby("列1")["ここが分かりません"].sum())`
で複数列指定の仕方が分かりません。
nは大きい値として、1つ1つの列を列挙し指定するのではなく、
[列2:列3]のような形では指定不可でしょうか？

--追記--
pandas groupbyでの数値データは型の縛りはあるのでしょうか？