複数サーバーの同時insert処理の高速化

Question

[構成]
dbサーバー1台
上記サーバーにinsertするサーバー10台（仮）

[疑問点]
複数のサーバーが一台のDBサーバーに同時に複数のレコードをinsertをし続ける時（実際は多くてもinsertサーバーAが30インスタンス、insertサーバーBが5インスタンス、insertサーバーcが2インスタンス同時にinsertになる事もあるくらいなのですが）どうすれば早く処理ができるのかを教えて頂きたく質問をさせて頂きました。
insertサーバーは他のinsertサーバーの書き込む内容には一切依存はありません。

・DBサーバーのメモリーかCPU（どちら？）をあげる
・forではなく一度のクエリでまとめてinsertする
・rollback、commit処理不要？
・DBにinsertするサーバーのdb接続をしっぱなしにし一定時間ごとに接続し直す？
・一つのinsertサーバーがDBサーバーに接続をしている時他のinsertサーバーは待っているの感じがするので、待たずに同時に書き込む？ようにmysqlの設定を変える

あたりが思い浮かんだのですがどのようにすれば良いものなのでしょうか？

（mysqlにinsertするサーバー）

package main

import (
    "database/sql"
    "fmt"
    _ "github.com/go-sql-driver/mysql"
)

//table
type humans struct {
	age int
    name string
}

func hoge(){
    all_recode := []humans{humans{32,"花子"},humans{52,"イチロー"},humans{12,"敬浩"}}
	db, _ := sql.Open("mysql", "ユーザ名パスワードipアドレス等")
	defer db.Close()

	tx, _ := db.Begin()
	defer tx.Rollback()

	stmt, _ := tx.Prepare("INSERT INTO humans (age, name) VALUES (?, ?)
	defer stmt.Close()

	for _, one_recode := range all_recode {
		_, err := stmt.Exec(one_recode.age, one_recode.name)
		if err != nil {
			fmt.Println(err)
		}
	}
	err2 := tx.Commit()
	if err2 != nil {
		fmt.Println(err2)
	}
}

func main(){
    for{
        hoge()
    }
}

goバージョン1.14
mysqlバージョン8

Answer 1

・forではなく一度のクエリでまとめてinsertする

です。
要件によってはバルクインサート が使えたり、 insert ... select ... 1回で済むとかもあります。

Comments

[T_retasu]

ありがとうございます
https://teratail.com/questions/237181
ではforが勧められいたのですがorlofsky様的にはgo言語でもまとめてinsertが推奨なのでしょうか？

[Orlofsky]

パフォーマンス・チューニングの観点からすると、正常に動作するなら早い方が正解になります。正解は1つとは限りません。T_retasu さんがご自分できちんと動作確認して、納得がいく方法を選んでください。

>複数のサーバーが一台のDBサーバーに同時に複数のレコードをinsertをし続ける時
一度にinsertする件数や何分毎のような時間の間隔も明示できた方が良いです。ハードウェアにお金をかけて大きなサーバーに統合した方が良い時もあります。

[Orlofsky]

insert ... select ... 1回で済ませるのが最速だとは思います。

[T_retasu]

ありがとうございます

他のサーバーのコネクト、クローズを待たず同時にコネクトし書き込むのような事はできないのでしょうか？
まとめてのインサート以外に大きく早くなりそうな感じのやり方はございますでしょうか？