JavaScript←wasm→Rustのエラー

Question

Rustライブラリ「lol_html」のNode.jsラッパーである「html-rewriter-wasm」を使用したところ、以下のエラーが出ました。

recursive use of an object detected which would lead to unsafe aliasing in rust

今までは「JSDOM」を使用していましたが、より高速なパーサーを探してRust系のライブラリに行き着きました。
Rustの開発経験は全くなく、Rust特有の厳格なメモリ管理にも慣れておりません。

recursive useとは、JavaScriptからRustを呼び出して、RustからJSコールバック関数が呼び出されることを指すのでしょうか？
このラッパーがそういう仕様なんですけど…

const encoder = new TextEncoder();
const rewriter = new HTMLRewriter();
rewriter.on('a[href]', {
  element(element) {
    console.log('[href]', element.getAttribute('href'));
  },
});
await rewriter.write(encoder.encode(html));
await rewriter.end();

Comments

[ikedas]

エラーメッセージにはエラーが見つかったファイルの名前と行番号も表示されているはずですので、それがご提示のコードのどの行にあたるのかを示すとよい (別の箇所ならそちらのコードも示すとよい) と思います。

Answer 1

自己解決してよかったです。

気づかずに回答を下書きしてしまったので、そのまま貼り付けますね。

---

結論から言うと、html-rewriter-wasmのREADMEを参考に、HTMLRewriterをnewする際に引数を渡すようにしたところ解決しました。試してみてください。

変更前

const rewriter = new HTMLRewriter();

変更後

const decoder = new TextDecoder();

let output = "";
const rewriter = new HTMLRewriter((outputChunk) => {
  output += decoder.decode(outputChunk);
});

詳細

実行時にunreachableエラーが発生

まず、ご質問のコードの足りないところ（以下）を追加してから実行したところ、質問とは異なるエラーになりました。

// 先頭に追加
import { HTMLRewriter } from "html-rewriter-wasm";

const html = "<a href='https://example.com'>Example</a>";

実行結果

$ node index.js
[href] https://example.com
wasm://wasm/0038a716:1

RuntimeError: unreachable
    at wasm://wasm/0038a716:wasm-function[511]:0xa1fff
    at wasm://wasm/0038a716:wasm-function[578]:0xa95a1
    at wasm://wasm/0038a716:wasm-function[709]:0xb28b1
    at wasm://wasm/0038a716:wasm-function[684]:0xb1376
    at wasm://wasm/0038a716:wasm-function[710]:0xb2994
    at wasm://wasm/0038a716:wasm-function[596]:0xaaf72
    at wasm://wasm/0038a716:wasm-function[530]:0xa4578
    at wasm://wasm/0038a716:wasm-function[781]:0xb5485
    at wasm://wasm/0038a716:wasm-function[80]:0x3700b
    at wasm://wasm/0038a716:wasm-function[277]:0x7e603

Node.js v20.4.0

• [href] https://example.com が表示されているので、console.log()は実行されていることがわかる
• unreachableというのはRustの回復不可能なエラー（panicの一種）で、Rustプログラムを書いた人の想定では実行されないはずのコードが実行されたことを意味する
  • プログラムにunreachable!()と書いた箇所が実行されるとこのエラーが発生する

unreachableエラーになる理由として、ライブラリーにバグがあったり、ライブラリーの使い方が想定外だったりすることが考えられます。

free()を追加したところ、実行時にrecursive use of an objectのエラーが再現できた

READMEを参考にfree()を追加したところ、質問のエラーが再現できました。

// 最後の部分を修正
try {
  await rewriter.write(encoder.encode(html));
  await rewriter.end();
} finally {
  rewriter.free();
}

$ node index.js
[href] https://example.com
... /0722-rewriter/node_modules/html-rewriter-wasm/dist/html_rewriter.js:949
    throw new Error(getStringFromWasm0(arg0, arg1));
          ^

Error: recursive use of an object detected which would lead to unsafe aliasing in rust
    at module.exports.__wbindgen_throw ( ... /0722-rewriter/node_modules/html-rewriter-wasm/dist/html_rewriter.js:949:11)
    at wasm://wasm/0038a716:wasm-function[828]:0xb6d3a
    at wasm://wasm/0038a716:wasm-function[827]:0xb6cae
    at wasm://wasm/0038a716:wasm-function[351]:0x8bb57
    at HTMLRewriter.free ( ... /0722-rewriter/node_modules/html-rewriter-wasm/dist/html_rewriter.js:655:14)
    at file:// ... /0722-rewriter/index.js:17:12

Node.js v20.4.0

エラーの発生箇所がmodule.exports.__wbindgen_throwとなっており、その名前からRustのwasm-bindgenがこのエラーを出しているのだと推測しました。wasm-bindgenはRustでwasmを書くときに便利なライブラリーで、JavaScriptとの相互運用を実現します。html-rewriter-wasmはwasm-bindgenを使っています。

wasm-bindgenのソースコードを調べたところ、エラーを出している箇所が見つかりました。

wasm-bindgen/src/lib.rs#L1562

    fn borrow_fail() -> ! {
        super::throw_str(
            "recursive use of an object detected which would lead to \
             unsafe aliasing in rust",
        );
    }

調べたところ、以下のことがわかりました。

• wasm-bindgenでは、Rustの借用ルールが守られていることを実行時に確認している
  • Rustだけで書かれたコードでは、借用ルールが守られていることをコンパイラーが検査して、違反があればコンパイルエラーにしてくれる
  • しかし、wasmでJavaScriptとの相互運用を行う際は、コンパイラーがJavaScriptに関わる部分が借用ルール満たしているか検査できない。（他言語のコードは検査できない）
  • そのため、wasm-bindgenでは、JavaScriptのオブジェクトに対する借用がルールに従っているかを実行時に確認している
• 1つのJavaScriptオブジェクトに対する可変借用は1つだけで、それ以上の可変借用、または、不変借用を行うとエラーになる

Rustの借用ルールについて詳しくは、Rustの所有権システムを参照してください

上のエラーは、HTMLRewriterのインスタンスに対してfree()を呼び出したときに発生しています。

    at HTMLRewriter.free ( ... /0722-rewriter/node_modules/html-rewriter-wasm/dist/html_rewriter.js:655:14)

その前にもunreachableエラーになったりしていたので、何か想定外のことが起こっているのだと思います。冒頭に書いた通り、html-rewriter-wasmのREADMEを参考に、HTMLRewriterをnewする際に引数を渡すようにしたところ解決しました。恐らく引数が渡されないケースが想定されていないのだと思います。html-rewriter-wasmライブラリーの一種のバグと言えそうです。

修正後のコード

index.js

import { HTMLRewriter } from "html-rewriter-wasm";

const html = "<a href='https://example.com'>Example</a>";

const encoder = new TextEncoder();
const decoder = new TextDecoder();

let output = "";
const rewriter = new HTMLRewriter((outputChunk) => {
  output += decoder.decode(outputChunk);
});

rewriter.on("a[href]", {
  element(element) {
    console.log("[href]", element.getAttribute("href"));
  },
});

try {
  await rewriter.write(encoder.encode(html));
  await rewriter.end();
} finally {
  rewriter.free();
}

package.json

{
  "name": "rewriter",
  "version": "1.0.0",
  "type": "module",
  "main": "index.js",
  "license": "MIT",
  "dependencies": {
    "html-rewriter-wasm": "^0.4.1"
  }
}

Comments

[YukiMoriNRT]

丁寧なご説明をいただきありがとうございます。

結局、HTMLRewriterの代わりに、ParsedHTMLRewriterを使用することになりました。
開発元が同じなのに引数やメソッド名が異なるのは大変紛らわしいものです。

引数を書き忘れてもPure JSでは自動的にundefinedが渡されるため大きな問題にはならないのですが、厳格な静的型付け言語であるRustではプログラムの実行自体が停止してしまうほど大きな問題なのですね。

恥ずかしながら、私は今までJavaScriptやPythonなどの柔軟性の高い動的型付け言語ばかりやってきたため
（TypeScriptすら敬遠していた）
でも、これが静的型付け言語なのですね。

変数に所有権があり、いちいち借用しなければ外部で使えないという発想も新鮮でした。
これからはRustも勉強させていただきます。

実は別案件のブラウザアプリでAPIのCORSがネックになっていたのですが、これもWebAssemblyで突破できそうです。

Pure JSしか知らなかった私の世界をRustとwasmが広げてくれました。
ありがとうございました。

Answer 2

失礼しました、私の勘違いでした。
NPMのReadmeをちゃんと読んだら、HTMLファイル全体をパースする場合はhtml-rewriter-wasmの代わりに@worker-tools/parsed-html-rewriterを使うようです。

あとはNPMのReadmeのサンプルコードに従い、メソッド名のwrite(u8array)をtransform(response)に、end()をtext()にそれぞれ変えてみました。

コードを次のように修正したら意図通り動きました。

await new ParsedHTMLRewriter()
.on('a[href]', {
  element(element) {
    console.log('[href]', element.getAttribute('href'));
  },
})
.transform(response)
.text();

そもコールバック関係なかったかも。
JSモジュールなので、呼び出し側がいちいちRustの存在を意識する必要がないようコールバック関数を含む引数はよしなにラップしてくれるようです。