質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

ただいまの
回答率

89.07%

WebGL×webAudioAPIで音を鳴らしたい

解決済

回答 1

投稿

  • 評価
  • クリップ 0
  • VIEW 562

YukiShimada

score 17

表題の件について質問です.

以前にqiitaで,このような記事を書かせていただき,https://qiita.com/ukeyshima/items/b1cb4291de9f1a065de5
webGLで音を作成し,webAudioAPIで音を流すプログラムを作成しました.
これはshadertoyなどでも使われている手法です.

しかし,僕のプログラムでは,必ず節目節目にブツッという音が入ってしまい,ずっと放置していた状態です.
正直音について詳しくなく,音の記述の方がおかしいのか,プログラムがおかしいのかがわかっていません.おそらく,setIntervalなどの問題だと思っていいて,https://www.html5rocks.com/ja/tutorials/audio/scheduling/
の記事などを参考にしようとは思っているのですが,イマイチピンとこずコードに起こせない状態です.

プログラムの構造などはqiitaの記事をみていただけるとわかると思います.もしどなたか同じようなコードを書いた方がいらっしゃれば解決策をご教授いただけると幸いです.よろしくお願いいたします.

window.addEventListener("load", function () {
    const c = document.createElement("canvas");
    let cw = window.innerWidth;
    let ch = window.innerHeight;
    c.width = cw; c.height = ch;
    const gl = c.getContext("webgl2") || c.getContext("webgl") || c.getContext("experimental-webgl");
    const prg = create_program(create_shader("vs"), create_shader("fs"));
    const uniLocation=new Array();
    uniLocation[0]=gl.getUniformLocation(prg,"iTime");
    let audioContext = new (window.AudioContext || window.webkitAudioContext)();
    let source = audioContext.createBufferSource();
    let sampleNum = 44100;    
    let time=0;

    const play=()=>{
        gl.uniform1f(uniLocation[0],time);
        const vTransformFeedback = gl.createBuffer();
        const transformFeedback = gl.createTransformFeedback();
        gl.bindBuffer(gl.ARRAY_BUFFER, vTransformFeedback);
        gl.bufferData(gl.ARRAY_BUFFER, sampleNum * Float32Array.BYTES_PER_ELEMENT, gl.DYNAMIC_COPY);
        gl.bindBuffer(gl.ARRAY_BUFFER, null);
        gl.bindTransformFeedback(gl.TRANSFORM_FEEDBACK, transformFeedback);
        gl.bindBufferBase(gl.TRANSFORM_FEEDBACK_BUFFER, 0, vTransformFeedback);
        gl.beginTransformFeedback(gl.POINTS);
        gl.drawArrays(gl.POINTS, 0, sampleNum);
        gl.endTransformFeedback();
        let arrBuffer = new Float32Array(sampleNum);
        gl.getBufferSubData(gl.TRANSFORM_FEEDBACK_BUFFER, 0, arrBuffer);        
        console.log(arrBuffer);        
        let audioBuffer = audioContext.createBuffer(2, sampleNum, sampleNum);
        for (let i = 0; i < 2; i++) {
            let bufferring = audioBuffer.getChannelData(i);
            bufferring.set(arrBuffer);
        }
        let source = audioContext.createBufferSource();
        source.buffer = audioBuffer;
        source.connect(audioContext.destination);
        //source.loop = true;
        source.start();
        gl.bindBufferBase(gl.TRANSFORM_FEEDBACK_BUFFER, 0, null); 
        time++;

    }
    setInterval(play,1000);    


    function create_shader(id) {
        let shader;
        const scriptElement = document.getElementById(id);
        if (!scriptElement) { return; }
        switch (scriptElement.type) {
            case "vertexShader.glsl":
                shader = gl.createShader(gl.VERTEX_SHADER);
                break;
            case "fragmentShader.glsl":
                shader = gl.createShader(gl.FRAGMENT_SHADER);
                break;
            default:
                return;
        }
        gl.shaderSource(shader, scriptElement.text);
        gl.compileShader(shader);
        if (gl.getShaderParameter(shader, gl.COMPILE_STATUS)) {
            return shader;
        } else {
            alert(gl.getShaderInfoLog(shader));
            console.log(gl.getShaderInfoLog(shader));
        }
    }
    function create_program(vs, fs) {
        const program = gl.createProgram();
        gl.attachShader(program, vs);
        gl.attachShader(program, fs);
        gl.transformFeedbackVaryings(program, ["sound"], gl.SEPARATE_ATTRIBS);
        gl.linkProgram(program);
        if (gl.getProgramParameter(program, gl.LINK_STATUS)) {
            gl.useProgram(program);
            return program;
        } else {
            return null;
        }
    }
});
<!DOCTYPE html>
<html>
<head>
    <script src="main.js"></script>
    <script id="vs" type="vertexShader.glsl">#version 300 es 
    precision highp float;
    uniform float iTime;
    out float sound;
    void main(void){
        float time=float(gl_VertexID)/44100.0+iTime;
        sound=sin(6.2831*440.0*time);
    }</script>
    <script id="fs" type="fragmentShader.glsl">#version 300 es
    void main(void){}</script>
</head>
<body>
    <canvas id="canvas"></canvas>
</body>

</html>
  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 過去に投稿した質問と同じ内容の質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

回答 1

checkベストアンサー

+1

1秒ごとにplayが呼び出されて、その中で長さ1秒の音を1つ作って鳴らす、という仕組みですよね。

長さ1秒の音を繋げて連続した音を出したいけどうまくいかない場合、原因として一般的に考えられるのは
1.1つ1つの音が鳴り始めるタイミングが、ちょうど1秒ごとになってない
2.長さ1秒の音の中で、正しい波形が生成できてない
3.n秒後に鳴り始めた音の波形の最後と、(n+1)秒後に鳴り始めた音の波形の最初がなめらかに繋がってない
4.鳴ってる最中の音の波形を書き換えてしまっている
5、自分で作った物以外のソフトウェアやハードウェアの不具合
6.1~5のうち、2つ以上の複合
ぐらいかと思います。

質問にあるコードの、JavaScriptのほうだけを少し書き換えてみました。
arrBuffer2に490Hzの矩形波を生成して、それを鳴らしています。(矩形波なので、「なめらかに繋がって」ではないんですけど周期が合っていれば問題ないはず。)
arrBufferは鳴らしません。
あと、source.startに引数を入れてます。質問にある
https://www.html5rocks.com/ja/tutorials/audio/scheduling/
の中で osc.start( time ); とかやってるみたいですけど、それと同じ目的のはずです。

window.addEventListener("load", function () {
    const c = document.createElement("canvas");
    let cw = window.innerWidth;
    let ch = window.innerHeight;
    c.width = cw; c.height = ch;
    const gl = c.getContext("webgl2") || c.getContext("webgl") || c.getContext("experimental-webgl");
    const prg = create_program(create_shader("vs"), create_shader("fs"));
    const uniLocation=new Array();
    uniLocation[0]=gl.getUniformLocation(prg,"iTime");
    let audioContext = new (window.AudioContext || window.webkitAudioContext)();
    let source = audioContext.createBufferSource();
    let sampleNum = 44100;    
    let time=0;

    const play=()=>{
        gl.uniform1f(uniLocation[0],time);
        const vTransformFeedback = gl.createBuffer();
        const transformFeedback = gl.createTransformFeedback();
        gl.bindBuffer(gl.ARRAY_BUFFER, vTransformFeedback);
        gl.bufferData(gl.ARRAY_BUFFER, sampleNum * Float32Array.BYTES_PER_ELEMENT, gl.DYNAMIC_COPY);
        gl.bindBuffer(gl.ARRAY_BUFFER, null);
        gl.bindTransformFeedback(gl.TRANSFORM_FEEDBACK, transformFeedback);
        gl.bindBufferBase(gl.TRANSFORM_FEEDBACK_BUFFER, 0, vTransformFeedback);
        gl.beginTransformFeedback(gl.POINTS);
        gl.drawArrays(gl.POINTS, 0, sampleNum);
        gl.endTransformFeedback();
        let arrBuffer = new Float32Array(sampleNum);
        let arrBuffer2 = new Float32Array(sampleNum);
        gl.getBufferSubData(gl.TRANSFORM_FEEDBACK_BUFFER, 0, arrBuffer);        
        //console.log(arrBuffer);        
        //console.log(time);        
        //console.log(audioContext.currentTime);        
        console.log(audioContext.currentTime - time);        
        let audioBuffer = audioContext.createBuffer(2, sampleNum, sampleNum);
        for (let j = 0; j < sampleNum; j++) {
            arrBuffer2[j] = ((j + 22) / 45) & 1;
        }
        //console.log(arrBuffer2);        
        for (let i = 0; i < 2; i++) {
            let bufferring = audioBuffer.getChannelData(i);
            bufferring.set(arrBuffer2);    // arrBuffer or arrBuffer2
        }
        let source = audioContext.createBufferSource();
        source.buffer = audioBuffer;
        source.connect(audioContext.destination);
        //source.loop = true;
        //source.start();
        source.start(time + 2, 0, 1);
        gl.bindBufferBase(gl.TRANSFORM_FEEDBACK_BUFFER, 0, null); 
        time++;

    }
    setInterval(play,1000);    


    function create_shader(id) {
        let shader;
        const scriptElement = document.getElementById(id);
        if (!scriptElement) { return; }
        switch (scriptElement.type) {
            case "vertexShader.glsl":
                shader = gl.createShader(gl.VERTEX_SHADER);
                break;
            case "fragmentShader.glsl":
                shader = gl.createShader(gl.FRAGMENT_SHADER);
                break;
            default:
                return;
        }
        gl.shaderSource(shader, scriptElement.text);
        gl.compileShader(shader);
        if (gl.getShaderParameter(shader, gl.COMPILE_STATUS)) {
            return shader;
        } else {
            alert(gl.getShaderInfoLog(shader));
            console.log(gl.getShaderInfoLog(shader));
        }
    }
    function create_program(vs, fs) {
        const program = gl.createProgram();
        gl.attachShader(program, vs);
        gl.attachShader(program, fs);
        gl.transformFeedbackVaryings(program, ["sound"], gl.SEPARATE_ATTRIBS);
        gl.linkProgram(program);
        if (gl.getProgramParameter(program, gl.LINK_STATUS)) {
            gl.useProgram(program);
            return program;
        } else {
            return null;
        }
    }
});

もし、
・↑ のままではうまく繋がって鳴ってる
・↑ の // arrBuffer or arrBuffer2 というコメントの箇所を書き換えて arrBuffer を鳴らすようにしてみてもうまく繋がって鳴ってる
だったら、それで1つの課題は乗り越えたはず。

・↑ のままではうまく繋がって鳴ってる
・arrBuffer を鳴らすようにしてみたらうまく繋がってない
だとしたら、最初のほうに書いた原因の2.や3.あたりから調べてみたらいいんじゃないかと思います。

ただし、私はWebGLに対してはほぼ無力です。(他のことに関しても、わかってるとは言い難いですが)
自力で頑張るか、他の人を頼るかしたほうが良いです。

投稿

編集

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2018/04/12 23:05

    ブラウザや環境によって異なるかもしれませんが、矩形波の生成は
    arrBuffer2[j] = (j / 45) & 1;
    よりも
    arrBuffer2[j] = ((j + 22) / 45) & 1;
    のほうが良いかもしれません。回答本文のコードを修正します。
    私の環境では、Firefoxは同じですがGoogle Chromeで改善されました。

    キャンセル

  • 2018/04/14 01:02

    完璧です......!お恥ずかしい話正直全く理解が及んでいなかったので大変助かりました.まだ理解できているわけではないのですがこれからじっくり考えさせていただきます......!ご回答ありがとうございました!!

    キャンセル

15分調べてもわからないことは、teratailで質問しよう!

  • ただいまの回答率 89.07%
  • 質問をまとめることで、思考を整理して素早く解決
  • テンプレート機能で、簡単に質問をまとめられる

関連した質問

同じタグがついた質問を見る