SQLの処理を可視化するツールについて

Question

お世話になっております。
sysderです。

社内で作成されているSQLの量が多くなってきているので、
それぞれのSQLがどんな処理をしているのか把握しにくくなってきています。

そこでSQLの処理内容のデータフロー図を作成しようと思っているのですが、
何か良いツールはないでしょうか。

こういうのがあったのですが、
なんかいまいちでして。。。
https://www.lucidchart.com/pages/ja/

また、皆さんはどのように処理内容を把握・管理しているのでしょうか。
属人化しないようにしたいと思っています。

ご教示の程よろしくお願いいたします。

Answer 1

「SQLの処理内容のデータフロー図」というのが良く分かりません。
データフロー図はDB設計される前の概念図ですから、ER図のほうが良い気がします。

探せばフリーでもツールはありますので。

追記

※コメントから

１０００行以上あるSQLがいくつもある場合、SQLを書いた人がいなくなった場合でも他者が対応できるようにしたいのですが、何か良い方法はありませんか？

それは保守の為という事ですね。それはプログラマー向けですか？
処理フローで書いたとして、SQLと直結する訳ではありませんから、それでSQLをメンテしろと言われてもSQLを組む人は結局SQLを解析する事になってしまいます。

SQLの設計に必要な4つの手順とは？わかりやすい図を使って解説！
SQLを作成するにあたって必要な資料は、ER図と要件です。
（ER図にはテーブルの定義も含みます）
これらが変更になる時にメンテナンスが発生する訳ですが、その際に対象のSQLの構造が説明としてあれば、メンテナンスはし易くなるでしょう。

SQLが長くても単純であれば、解析にそれほど時間は要しません。
時間を要するのはサブクエリー等で、ネストが深い場合です。
なので、ネストの深いものから積み上げる形でそれぞれの単位で（ER図、要件）があれば良いかと思います。

ただ、それら詳細が無くても、元になる（ER図と要件）のしっかりした物があれば何とか出来ると思います。
現状でそれが無いなら作るしかありません。
ER図はリバースできるDBツールを利用して手抜きは出来ますが、要件を抽出してくれるツールは見た事がありません。

追記２

SQLが長大で解析が困難というなら、整形して見やすくするというのはどうでしょう。
SQL 整形ツール　美しいコードが出力できるテキストエディタはどれ？

統一化されるので要件の抽出はやりやすくなると思います。

Comments

[sysder]

ご回答いただきありがとうございます。
> 「SQLの処理内容のデータフロー図」というのが良く分かりません。
インプットデータはこれで、条件分岐(男性なら、20歳以上なら)をして、こんな処理(年齢カラムを追加、キーを追加)をして、アウトプットはこれ、というフローの可視化です。

[sazi]

SQLは手続き型言語ではありませんので、SQLからデータフローを生成するようなツールは無いかと思われます。

[sysder]

それではSQLを自分で読んで、その処理や流れを図に落とし込むのに最適なツールはありますか？

[sazi]

SQLを処理や流れに置き換えるのは難しいと申しております。
SQLで表せるのは集合体ですので、処理や流れの単位で区切ったビューとし、それらをリレーションして表すし事しか思いつきません。
そういったことでER図作成のツールをお薦めしています。

[Y.H.]

質問者さんがSQLと呼ばれているのは
もしかして、OracleならPL/SQL, SQL ServerならTransact-SQLなどの言語で記述されている
ストアドプロシージャーなどの事をおっしゃってますか？

[tacsheaven]

あえていうなら SQL の実行計画が近いかなという気はしますが……うーん？

[sysder]

saziさん
１０００行以上あるSQLがいくつもある場合、SQLを書いた人がいなくなった場合でも他者が対応できるようにしたいのですが、何か良い方法はありませんか？

[sysder]

Y.Hさん
いいえ、違います。

[sysder]

tacsheavenさん
実行計画は深すぎる気がします。。。

[退会済みユーザー]

面白そうなんで、クリップしてます！
なんかひねり出してください！ｗ

[sazi]

@sysderさん
SQLからフローに落とすというのをどういうイメージを持たれていますか？
リバースするという事はジェネレーションもできないと駄目ですけど。
持たれているイメージを図解して質問に張り付けて頂けると他の方も回答しやすくなると思います。

SQLをリバースしてグラフィカルにするとしたら、クエリーデザイナーくらいだと思いますけど。

[退会済みユーザー]

多分
https://www.youtube.com/watch?v=kVFnQRGAQls
こんなやつを求めてるんだと思う。

途中まで研究されてたっぽいんだけどねぇ。。。

[sazi]

@te2jiさん
SQLの最適化が難しいんだと思いますよ。

[退会済みユーザー]

なんか論文もあるみたいなんだけど、難しそうなんで手を出してないｗ
このツールの後継探してるんだけど、見つからないんだよねぇ。。。

[sazi]

SQLの解析というなら、それはDBMSがやっている事ですから、それをハックするか、実行計画を元に解析するような事だと思います。

[sazi]

QueryVizと同系列のものとしてはQGMというのがあるらしいですよ。
尤も、それでは不足としてQueryVizがあるようですが。

[sysder]

@saziさん
こんな感じのものを想定していました。
https://it-koala.com/flowchart-2241
ひし形の条件のところで性別や年齢でデータを分けたり、その後で２０代のデータにのみ適応する処理を四角に書く、平方四辺形にはインプットデータとアウトプットデータを書く、といったものです。

[sazi]

フローチャートは知っていますよ。
最初から言っていますが、フローは手続きで、一方SQLは集合を扱うものです。
ご自身でフローチャートからSQLを作るとか、SQLからフローチャートを起こしてみて下さい。
そうすれば、それが如何に乖離しているか分かると思います。
分かり易く一例を上げるとループ命令などSQLには存在しません。

[退会済みユーザー]

> sysder さん
SQL を図示すると、リレーションを示すので、ER 図もどきになります。
ツールとしては以下な感じ。
https://www.slideserve.com/tao/wolfgang-gatterbauer
ただ、現在探した範囲ではあまり研究は進んでいないようです。

アプローチが違う上、使ったこと無いけど、この辺が役に立つかも
https://omnidb.org/en/documentation-en/visualizing-query-plans-en

> sazi さん
いいの無いね＾＾；残念。

[sysder]

＠saziさん、te2jiさん
SQLを解読して処理内容を文章にまとめるしか方法がないのかなと思いました。
色々と助言ありがとうございました。

Answer 2

RDBMSの種類によっても違うのですが、OracleやPostgreSQLはオプティマイザが賢く相関サブクエリなどもパフォーマンスが出るので、適切に使うと意味のあるまとまりが明確になり読みやすくなります。(MySQLはダメです)
そのため頻出するパターンはViewを作成することでクエリの可読性が向上します。
パフォーマンス上の課題があれば、マテリアライズド・ビューやテーブルの非正規化も有効かと思います。

またSQL内にコメントを書くことも有効です。オブジェクト指向プログラミングではコメントで書く内容はほぼ全てメソッド名で表現できるためコメントがバッドノウハウとされていますが、SQLではメソッドのような形で処理を分割することができないためコメントが有効です。
RDBMSのパフォーマンス上のボトルネックは通常、ネットワークとストレージの走査のため、SQLの解析時にコメントを削除する処理によるパフォーマンスの劣化は無視できます。

Comments

[sysder]

ご回答ありがとうございます。
MySQLを使っています。。。
SQLとSQLの入出力の繋がりも把握するのが難しいです。