音楽制作ソフト（DAW）のレンダリングってどうゆう仕組みで実装されているのでしょうか

Question

実現したいこと

音楽制作ソフト（DAW）のレンダリングと同等の機能を実装したいので、その仕組みが知りたくヒントなどでもいいので情報をいただきたいです。

発生している問題・分からないこと

音楽制作系や動画編集系のプログラム処理に明るい方に、アドバイスいただきたく質問させてください。

音楽制作ソフトにDAW（Digital Audio Workstation）というジャンルがあるかと思います。（例：Cubase、Logic Pro、Cakewalkなど）
そのソフト内の機能として「レンダリング」というものがあると思います。今回はこれに関する質問です。
製品などによってはレンダリングではなくバウンスとかミックスダウンという用語かもですが、
楽曲を構成するMIDIデータを再生・発音させてwavファイルなどのリニアPCMデータに出力する機能のことです。

＜質問＞
ちまたにあるDAWでは5分の楽曲データを1分くらいでファイル出力できるかと思いますが（1分は精度設定ができるので前後するかもですが）、
この機能を作りたいので、内部ではどのようなロジックで処理をおこなっているのかが知りたいです。

5分の楽曲データをwavファイルにレンダリングする機能を作るとして、
内部でMIDIデータを指定テンポで再生させて、得た音声データをファイルとして随時出力していく＝ 実際5分かかる
っていう処理なら私も理解でき実装できると思っているのですが、
実際のDAWでは5分かからずファイル出力を完了しているってことは、実際には再生処理や発音処理をしていないのか、
なにか特別なことをしているのか・・
大抵のDAWソフトではレンダリング中に楽曲の音量レベルメータがすごい速さで振れてるので、内部ですごく高速で再生している？

当方はiOS上でcore audioやcore MIDIを利用して楽曲の再生程度はできる、という状態ですが、
この質問はレンダリングってどんなロジックで処理組んでいるのかな、という趣旨なので
あまり環境や実装条件などは気にすることなく、こんな仕組みじゃないかな、とか
どこぞで仕組みを解説している記事をみた、とか気楽にお答えもらえたらうれしいです。

以上、有識者の方々よろしくお願いいたします。

該当のソースコード

特になし

試したこと・調べたこと

• teratailやGoogle等で検索した
• ソースコードを自分なりに変更した
• 知人に聞いた
• その他

上記の詳細・結果

teratailでdawやレンダリングで検索したのですが・・ドンピシャな質問回答がありませんでした。

補足

特になし

Answer 1

内部ですごく高速で再生している？

再生しているわけではないと思います。
たとえば48kHzの1秒の音声を合成するには、ある時点でのすべての入力音声のデータのサンプルを合成して出力音声の1サンプルを書き出すことを48,000回繰り返します。1秒かけて処理する必要はありませんし、実際のオーディオデバイスに出力する必要もありません。

Comments

[kantanopapan]

ご回答ありがとうございます!

> ある時点でのすべての入力音声のデータのサンプルを合成して出力音声の1サンプルを書き出すことを48,000回繰り返します。

これはざっくり以下のようなことだと理解しました。

トラック1＝ピアノ1秒のwavファイルを配置
トラック2＝ドラム1秒のwavファイルを配置

上記でレンダリング開始
　→ 1個目のピアノのサンプルと1個目のドラムのサンプルを取り出し合成演算し1サンプル作成
　→ 同じように48000回ループ処理して48000個のサンプルを得て、つなげてwavファイルにする
　→ ピアノとドラムが合成されたwavファイル完成

たしかに合成元となる各トラックの中身がwavファイルだとしたら上記で高速にうまくいきそうですね。

ここで気になるのですが、

トラック3＝ベース音源（楽器プラグイン）で1秒の発音データとなるMIDIファイルを配置

これも一緒にレンダリングしようとした場合、
トラック3上には音声データはまだ存在せず、48000個のサンプルを得ることはできず、
それを得るにはベース音源（楽器プラグイン）を1秒動かさないとサンプルはえられず、
となるかと思うのですが、
これもベース音源（楽器プラグイン）になにか命令をかけて、1サンプル単位で都度サンプルを合成しているのでしょうか

お分かりでしたらご回答お願いいたします。
よろしくお願いいたします。

[int32_t]

実際にDAWやプラグインの中身を知っているわけではないですが、

> これもベース音源（楽器プラグイン）になにか命令をかけて、1サンプル単位で都度サンプルを合成しているのでしょうか

そんな感じだと思いますよ。MIDIデータを解析しながらレンダリングして、ベース音源のノートオンが出た時点でプラグインに「この音色のこの音程のPCMデータをくれ」と要求すればデータが手に入るんじゃないでしょうか。

[kantanopapan]

またもご回答ありがとうございます。

私は今までMIDI音源には、おっしゃる通りのノートオンやノートオフのMIDIのお作法上のデータしか渡さずに音楽再生する仕組みを組んでいたのですが、（ハード筐体のMIDI楽器に送る情報と同じように）
その知識だけではレンダリングという処理は実現できなさそうですね。

オーディオプラグインのお作法（VSTとかAUとかAAXのプラグイン規格）を調べて、
MIDIデータ送信以外にも命令できる仕組みがあるかを理解していく必要があると思いました。

この気付きを得られてよかったです。ありがとうございました。

他の方からのコメントもいただきたく思いますので、
まだ質問はオープンにさせていただきたいと思います。
よろしくお願いいたします。

[kantanopapan]

数回の回答ありがとうございます。
いただいた回答を参考に、引き続き調査していこうと思います。
ベストアンサーとさせていただきます。
ありがとうございました。