解決したいこと
DB/SQLの設計/開発を効率化するような、ツール/取り組みがあれば知りたい。
特に、DB特性に合わせた、SQLのパフォーマンスを測定できるようなツールがあれば知りたい。
経緯
こんにちは。
業務でSQLを触っていて、最初のシードデータ(多くても数100件とか。)をもとに
SQLを組んで設計・動作確認し、実運用をしたものが、
そのうちにレコードが100万件などに膨れ上がった時に大変動作が遅くなったりして、
SQLのチューニングの大事さに気づきました。
元々ソフトウェア畑出身なので、プログラム時の思考の傾向として、
処理量の上限はプログラム側で規定しさえすれば、PC性能が時代とともに上がれば上がるほど
処理は軽くなっていくという考えの根本があり、
SQLなど、文字数やレコード数の上限などの設計要件がシステムに規定されていて、そこを出発点として
最終的なパフォーマンスが落ちないようにSQLはもちろん、テーブル設計から慎重に行っていく...
という発想に乏しかったことが原因にありました。
そこで、今後DB側の開発をするときは、ぜひこのことを念頭に設計していきたいのですが、
DBに高い負荷をかけ、SQLを実行する....などの工程は
記事などを検索する限り自動化ツールなどがなく、皆さん手作業でコマンドを発行し、
調査しておられるように見えました。
次に挙げていく問題に思っている点は、あくまで自分の乏しい経験に基づく意見ですが、
- たとえば大量のダミーデーターを投入するやり方として、
PHPやRubyではFakerなどがあります。うまく言えませんが、
これは他言語のアタッチメントとしてのツールであって、純粋にMySQL WorkbenchのようなDB側のツールではないし、
- EXPLAINを毎回打ってパフォーマンスを確認しチューニングする作業においても、
SQLはプログラム的ではないので、ユニットテストは不要でしょうが、なんというか、
目標の処理速度だったり、typeの種類だったりを達成できてるか/できていないかのチェックが人力だし、
- SQL文は自分の技量不足もありますが、どうしても文字量も多く、複雑になって可読性が悪いので
サブクエリも現在のWeb界隈のように、プリプロセッサを経由しSQL文をコンパイル、とか
(サブクエリ単位でコンポーネントとして要件を満たすように作り、それを組み合わせて本来作りたいSQLをmixinする、、みたいな)
- あと、DDLとかでDBスキーマを渡せば、どのくらいのレコードでどのくらいの容量になるかを計算する
ようなツールもあれば便利がいいなあと思うところです。
というところで、十分にDB側の知識もないために、今後サービスを作るときに、色々検討しながら設計するには手間がかかりすぎて大変だな
という印象を持っておりますので、
部分的でもいいから、DB側に立ったツールとして、パフォーマンスをある程度自動化しながら確認できるツールや、
単純に作業の効率化として、SQLプリプロセッサのサービス/ツールなどがあればぜひ教えて頂ければと思います。
(特にDBエンジンは限定しません。質問のそもそもの背景が、そういった発想のツールってあるのかな、という単純な疑問が出発点なので。)
長文乱文失礼いたしました。どうぞよろしくお願いいたします。
追記
回答いただいた以外にもパフォーマンス測定ツールをいくつか探して見つけましたので
誰か見たときに参考になればと思い追記させていただきます
- Oracle
- MySQL
回答1件
あなたの回答
tips
プレビュー
バッドをするには、ログインかつ
こちらの条件を満たす必要があります。
2018/07/17 06:38
2018/07/17 07:54