SQL文で行っている配列操作（グルーピング・並び替え）をGO言語だけで実現したい

実現したいこと

現在PHP+MYSQLで実行しているプログラムのSQL文で行っている配列操作（グルーピング・並び替え）をGO言語だけで実現したい

SQL
1SELECT *,group_concat(`pcode` separator ',') AS `wkbn` FROM テーブル名 GROUP BY str[0],str[1],str[2] ORDER BY str[0],str[1],str[2]

（並び替え前）
[24-5A-3 0 ABC-123450 ユニット部品 C0]
[24-5A-3 0 ABC-123450 ユニット部品 C1]
[24-5A-3 0 ABC-123450 ユニット部品 C3]
[24-5A-3 0 ABC-123450 ユニット部品 C4]
[24-5A-3 0 ABC-123450 ユニット部品 C5]
[24-5A-3 0 ABC-123450 ユニット部品 C6]
[24-5A-3 0 ABC-123450 ユニット部品 C7]
[24-5A-3 0 ABC-123450 ユニット部品 C8]
[24-6C-9 1 XYZ-10-001 ネジ D0]
[24-6C-9 1 XYZ-10-001 ネジ D1]
[24-6C-9 1 XYZ-10-001 ネジ D2]
[24-6C-9 2 XYZ-10-002 ボルト E0]
[24-6C-9 2 XYZ-10-002 ボルト E1]
[24-6C-9 2 XYZ-10-002 ボルト E2]

（並び替え後）
[24-5A-3 0 ABC-123450 ユニット部品 C1,C2,C3,C4,C5,C6,C7,C8]
[24-6C-9 1 XYZ-10-001 ネジ D0,D1,D2]
[24-6C-9 2 XYZ-10-002 ボルト E0,E1,E2]

前提

はじめてGO言語を使用しています。
そのため、ChatGPTに聞きながら行っています。
下記のコードが現状動作確認ができている部分です。
動作している内容は次のとおりです。

ローカルにあるCSVファイル「short-plan16.csv」を読み込む
CSVファイルの文字をUTF-8に変換
全レコードの内容を表示する

GoLang
1package main
2
3import (
4	"bufio"
5	"encoding/csv"
6	"fmt"
7	"log"
8	"os"
9	"sort"
10	// "strings"
11
12	"golang.org/x/text/encoding/unicode"
13	"golang.org/x/text/transform"
14)
15
16func main() {
17	//*CSVを開く
18	csvFile, err := os.Open("/絶対パス/short-plan16.csv")
19	if err != nil {
20		log.Fatal(err)
21	}
22	defer csvFile.Close()
23
24	//*UTF-16LEエンコーディングをUTF-8に変換
25	utf16bom := unicode.UTF16(unicode.LittleEndian, unicode.UseBOM)
26	reader := csv.NewReader(transform.NewReader(bufio.NewReader(csvFile), utf16bom.NewDecoder()))
27	reader.FieldsPerRecord = -1 //para:可変フィールド数を許容する設定
28	reader.LazyQuotes = true    //para:不正引用符の許容
29
30	//*csvデータを読み込む
31	records, err := reader.ReadAll()
32	if err != nil {
33		log.Fatalf("CSVファイル読み込みエラー: %v", err)
34	}
35
36	//*csvデータをチェックして表示する
37	for i, record := range records {
38		if len(record) != len(records[0]) {
39			log.Printf("警告: 行 %d はフィールド数が異なります。", i+1)
40		}
41
42		// デバッグ用：全レコードの表示
43		fmt.Println(record)
44	}

試したこと

ChatGPTに質問しながら実行したソースコードと実行結果は次の通りです。

配列recordsをrecords[0],records[1],records[2]でグループ化する方法をGo言語で教えて

roupedRecords := make(map[string][][]string)
for _, record := range records {
    key := record[0] + record[1] + record[2]
    groupedRecords[key] = append(groupedRecords[key], record)
}
fmt.Println(groupedRecords)

map[24-5A-30ABC-123450:[[24-5A-3 0 ABC-123450 ユニット部品 C1] [24-5A-3 0 ABC-123450 ユニット部品 C2] [24-5A-3 0 ABC-123450 ユニット部品 C3] [24-5A-3 0 ABC-123450 ユニット部品 C4] [24-5A-3 0 ABC-123450 ユニット部品 C5] [24-5A-3 0 ABC-123450 ユニット部品 C6] [24-5A-3 0 ABC-123450 ユニット部品 C7] [24-5A-3 0 ABC-123450 ユニット部品 C8]] 24-6C-91XYZ-10-001:[[24-6C-9 1 XYZ-10-001 ハウジング D0] [24-6C-9 1 XYZ-10-001 ネジ D1] [24-6C-9 1 XYZ-10-001 ネジ D2]] 24-6C-92XYZ-10-002:[[24-6C-9 2 XYZ-10-002 ボルト E0] [24-6C-9 2 XYZ-10-002 ボルト E1] [24-6C-9 2 XYZ-10-002 ボルト E2]]]

配列recordsをSQL言語でいう"SELECT pnum_,bnum_,dnum_,pname,group_concat(pcode separator ',') FROM records GROUP BY _ddt_,pnum_,inum_,bnum_ ORDER BY cnum_,_ddt_,pnum_,bnum_,inum_;"をGO言語で並び替えするには？

roupedRecords := make(map[string][][]string)
for _, record := range records {
    key := record[0] + record[1] + record[2]
    groupedRecords[key] = append(groupedRecords[key], record)
}
fmt.Println(groupedRecords)

[[24-5A-3 0 ABC-123450 ユニット部品 C1] [24-5A-3 0 ABC-123450 ユニット部品 C2] [24-5A-3 0 ABC-123450 ユニット部品 C3] [24-5A-3 0 ABC-123450 ユニット部品 C4] [24-5A-3 0 ABC-123450 ユニット部品 C5] [24-5A-3 0 ABC-123450 ユニット部品 C6] [24-5A-3 0 ABC-123450 ユニット部品 C7] [24-5A-3 0 ABC-123450 ユニット部品 C8] [24-6C-9 1 XYZ-10-001 ネジ D0] [24-6C-9 1 XYZ-10-001 ネジ D1] [24-6C-9 1 XYZ-10-001 ネジ D2] [24-6C-9 2 XYZ-10-002 ボルト E0] [24-6C-9 2 XYZ-10-002 ボルト E1] [24-6C-9 2 XYZ-10-002 ボルト E2]]

recordsを次の例のように並び替えを行うにあはどうすればいい？

（並び替え後）
[24-5A-3 0 ABC-123450 ユニット部品 C1,C2,C3,C4,C5,C6,C7,C8]
[24-6C-9 1 XYZ-10-001 ネジ D0,D1,D2]
[24-6C-9 2 XYZ-10-002 ボルト E0,E1,E2]

// recordsを指定の条件で並べ替え、指定のカラムをGROUP_CONCATで結合する
sort.Slice(records, func(i, j int) bool {
    for k := 1; k < 5; k++ {
        if records[i][k] != records[j][k] {
            return records[i][k] < records[j][k]
        }
    }
    return false
})

// グループごとに結合
var groupedRecords [][]string
var currentGroup []string
for i, record := range records {
    if i > 0 && record[1] != records[i-1][1] {
        groupedRecords = append(groupedRecords, currentGroup)
        currentGroup = nil
    }
    currentGroup = append(currentGroup, record[3])
}
groupedRecords = append(groupedRecords, currentGroup)

// 結果を表示
for _, group := range groupedRecords {
    fmt.Println(strings.Join(group, ","))
}

ユニット部品,ユニット部品,ユニット部品,ユニット部品,ユニット部品,ユニット部品,ユニット部品,ユニット部品
ネジ,ネジ,ネジ
ボルト,ボルト,ボルト

（補足追記）

melianさんから教えていただきましたコードを実行したところ、実装できました。
ただし、コメントにて追記した通り、今回質問するにあたり、データ配列を簡略化してお知らせしてしまったため、本番のプログラム用に書き換えたのですがうまく動作しませんでした。

package main

import (
	"bufio"
	"cmp"
	"encoding/csv"
	"fmt"
	"log"
	"os"
	"slices"

	"golang.org/x/exp/maps"
	"golang.org/x/text/encoding/unicode"
	"golang.org/x/text/transform"
)

type mapKey struct {
	sName, cNum, cName, pNum, iNum, bNum, dNum, pName, pq, ddt, adt, wdt, upric, tpric, palgn, pcode string
}

func main() {
	//*CSVを開く
	csvFile, err := os.Open("/Users/onodzukatakahiro/GoApps/GoPlanner/assets/plan.csv")
	if err != nil {
		log.Fatal(err)
	}
	defer csvFile.Close()

	//*UTF-16LEエンコーディングをUTF-8に変換
	utf16bom := unicode.UTF16(unicode.LittleEndian, unicode.UseBOM)
	reader := csv.NewReader(transform.NewReader(bufio.NewReader(csvFile), utf16bom.NewDecoder()))
	reader.FieldsPerRecord = -1 //para:可変フィールド数を許容する設定
	reader.LazyQuotes = true    //para:不正引用符の許容

	//*csvデータを読み込む
	records, err := reader.ReadAll()
	if err != nil {
		log.Fatalf("CSVファイル読み込みエラー: %v", err)
	}

	//*csvデータをチェックして表示する
	for i, record := range records {
		if len(record) != len(records[0]) {
			log.Printf("警告: 行 %d はフィールド数が異なります。", i+1)
		}

		// デバッグ用：全レコードの表示
		// fmt.Println(record)
	}

	// SQL文のようなgroupbyとgroup_concatを実現する
	groupedMap := make(map[mapKey]string)
	for _, record := range records {
		key := mapKey{record[0], record[1], record[2], record[3], record[4], record[5], record[6], record[7], record[8], record[9], record[10], record[11], record[12], record[13], record[14], record[15]}

		groupedMap[key] = ""
		if _, ok := groupedMap[key]; ok {
			groupedMap[key] += "," + record[16]
		}

	}

	// グループキーの並べ替え
	keys := maps.Keys(groupedMap)
	slices.SortFunc(keys, func(a, b mapKey) int {
		return cmp.Or(
			cmp.Compare(a.pNum, b.pNum), cmp.Compare(a.bNum, b.bNum),
			cmp.Compare(a.dNum, b.dNum), cmp.Compare(a.pName, b.pName),
		)
	})

	// MAPをスライスする
	groupedRecords := make([][]string, 0, len(keys))
	for _, k := range keys {
		groupedRecords = append(
			groupedRecords, []string{k.sName, k.cNum, k.cName, k.pNum, k.iNum, k.bNum, k.dNum, k.pName, k.pq, k.ddt, k.adt, k.wdt, k.upric, k.tpric, k.palgn, groupedMap[k]})

	}

	fmt.Println(groupedRecords)
}

[]

行動規範の内容に同意します

回答1件

ベストアンサー

※ slices パッケージを利用していますので Go 1.21 以降が必要です。

map のキーに構造体(mapKey型)を使います。groupedMap のキーを slices.SortFunc() でソートして、その順序で groupedMap から値を取り出しています。

go
1package main
2
3import (
4	"bufio"
5	"cmp"
6	"encoding/csv"
7	"fmt"
8	"log"
9	"os"
10	"slices"
11
12	"golang.org/x/exp/maps"
13	"golang.org/x/text/encoding/unicode"
14	"golang.org/x/text/transform"
15)
16
17type mapKey struct {
18	pNum, bNum, dNum, pName string
19}
20
21func main() {
22	//*CSVを開く
23	csvFile, err := os.Open("short-plan16.csv")
24	if err != nil {
25		log.Fatal(err)
26	}
27	defer csvFile.Close()
28
29	//*UTF-16LEエンコーディングをUTF-8に変換
30	utf16bom := unicode.UTF16(unicode.LittleEndian, unicode.UseBOM)
31	reader := csv.NewReader(transform.NewReader(bufio.NewReader(csvFile), utf16bom.NewDecoder()))
32	reader.FieldsPerRecord = -1 //para:可変フィールド数を許容する設定
33	reader.LazyQuotes = true    //para:不正引用符の許容
34
35	//*csvデータを読み込む
36	records, err := reader.ReadAll()
37	if err != nil {
38		log.Fatalf("CSVファイル読み込みエラー: %v", err)
39	}
40
41	//*csvデータをチェックして表示する
42	for i, record := range records {
43		if len(record) != len(records[0]) {
44			log.Printf("警告: 行 %d はフィールド数が異なります。", i+1)
45		}
46
47		// デバッグ用：全レコードの表示
48		fmt.Println(record)
49	}
50
51	// groupby and group_concat like SQL
52	groupedMap := make(map[mapKey]string)
53	for _, record := range records {
54		key := mapKey{record[0], record[1], record[2], record[3]}
55		if _, ok := groupedMap[key]; ok {
56			groupedMap[key] += "," + record[4]
57		} else {
58			groupedMap[key] = record[4]
59		}
60	}
61
62	// sort group keys
63	keys := maps.Keys(groupedMap)
64	slices.SortFunc(keys, func(a, b mapKey) int {
65		return cmp.Or(
66			cmp.Compare(a.pNum, b.pNum), cmp.Compare(a.bNum, b.bNum),
67			cmp.Compare(a.dNum, b.dNum), cmp.Compare(a.pName, b.pName),
68		)
69	})
70
71	// map to slices
72	groupedRecords := make([][]string, 0, len(keys))
73	for _, k := range keys {
74		groupedRecords = append(
75			groupedRecords, []string{k.pNum, k.bNum, k.dNum, k.pName, groupedMap[k]})
76	}
77
78	fmt.Println(groupedRecords)
79}

投稿2024/05/27 18:14

melian

総合スコア20255

takahiro0914

2024/05/27 21:35 編集

早速回答いただきましてありがとうございました今回質問させていただく際にはサンプルデータで質問させていただきました。本番データでは4カラムでｈがなく16カラム分あるため、教えていただいたコードの54行目のrecordsを16カラム分に増やせばよろしいでしょうか？本番のSQL文は"SELECT `sname` ,`cnum_`,`cname`,`pnum_`,`inum_`,`bnum_`,`dnum_`,`pname`,`_pq__`,`_ddt_`,`_adt_`,`_wdt_`,`upric`,`tpric`,`palgn`,`pcode` ,group_concat(`pcode` separator ',') FROM `records` GROUP BY `_ddt_`,`pnum_`,`inum_`,`bnum_` ORDER BY `cnum_`,`_ddt_`,`pnum_`,`bnum_`,`inum_`;"でした。最初から本番データで質問すればよかったのですが、お手数でなければ教えていただけますでしょうか。よろしくおねがいいたします。