Javaのcrc32をJavaScriptで再現する方法について

Question

実現したいこと

crc32のJavaの処理をJavaScriptで表現したいと考えております。

## Java
var CRC32 = Java.type("java.util.zip.CRC32");
var crc32 = new CRC32();
crc32.update("あいうえお")
Number(crc32.getValue())

## output
3523407757

試したこと

上記のようなアウトプットを取得するために、JavaScript で下記サイトの実装を参考に実行してみたのですが、値が一致しませんでした。

参考：https://github.com/mozilla/bigquery-etl/blob/generated-sql/sql/moz-fx-data-shared-prod/udf_js/crc32/udf.sql

## JavaScripts
var makeCRCTable = function(){
    var c;
    var crcTable = [];
    for(var n =0; n < 256; n++){
      c = n;
      for(var k =0; k < 8; k++){
        c = ((c&1) ? (0xEDB88320 ^ (c >>> 1)) : (c >>> 1));
      }
      crcTable[n] = c;
    }
    return crcTable;
  }
  var crc32 = function(str) {
    if (str === null) {
      return null;
    }
    var crcTable = makeCRCTable();
    var crc = 0 ^ (-1);
    for (var i = 0; i < str.length; i++ ) {
      crc = (crc >>> 8) ^ crcTable[(crc ^ str.charCodeAt(i)) & 0xFF];
    }
    return (crc ^ (-1)) >>> 0;
  };
  return crc32(data);

## 引数に"あいうえお" を与えたoutput
718909359

困っていること

JavaScriptsでcrc32の値の実装をしたものがJava上のものと一致するものかと思っておりましたが、値が異なっており、どのように実装したらよいか悩んでおります。

大変恐縮ではございますが、お知恵を拝借できましたら幸いです。
何卒よろしくお願い申し上げます。

Comments

[int32_t]

ASCII だけの文字列でも結果が異なりますか?

[mi2]

ご確認いただきありがとうございます。
はい、"aiueo"でも試してみたのですが、出力が異なっておりました。

Answer 1

str.charCodeAt(i))を修正して解決

Answer 2

Nashorn（jjs）で実行しているんですね...（特殊な実行法の場合は注記を入れていただきたいです）

まずmomon-gaさんの指摘通りupdateの使い方が違います。
CRC32#update (Java Platform SE 8 )

var CRC32 = Java.type("java.util.zip.CRC32");
var crc32 = new CRC32();
crc32.update("あいうえお".getBytes(java.nio.charset.StandardCharsets.UTF_8));
print(crc32.getValue(), java.lang.Long.toHexString(crc32.getValue()));

3050435719 b5d1f487

提示の参考コードはおそらくこの辺りが元ネタだと思われます。
checksum - JavaScript CRC32 - Stack Overflow

コメントの中で非ASCIIは合わないと指摘されています。
checksum - JavaScript CRC32 - Stack Overflow

This solution didn't match results of java.util.zip.CRC32 on UTF8-encoded non-ASCII strings until I added preliminary call to encode_utf8 at javascript side.
この解決策は、javascript側でencode_utf8の予備呼び出しを追加するまで、UTF8エンコードされた非ASCII文字列に対するjava.util.zip.CRC32の結果には一致しませんでした。

そのコメント中のリンクから一番短いものを使いました（unescapeは非推奨です）
unicode - Decode UTF-8 with Javascript - Stack Overflow

var makeCRCTable = function () {
    var c;
    var crcTable = [];
    for (var n = 0; n < 256; n++) {
        c = n;
        for (var k = 0; k < 8; k++) {
            c = ((c & 1) ? (0xEDB88320 ^ (c >>> 1)) : (c >>> 1));
        }
        crcTable[n] = c;
    }
    return crcTable;
};
var crc32 = function (str) {
    if (str === null) {
        return null;
    }
    var crcTable = makeCRCTable();
    var crc = 0 ^ (-1);
    for (var i = 0; i < str.length; i++) {
        crc = (crc >>> 8) ^ crcTable[(crc ^ str.charCodeAt(i)) & 0xFF];
    }
    return (crc ^ (-1)) >>> 0;
};

function encode_utf8(s) {
    return unescape(encodeURIComponent(s));
}

print(crc32(encode_utf8("あいうえお")), crc32(encode_utf8("あいうえお")).toString(16));

3050435719 b5d1f487

---

提示コードでなぜ3523407757が出るのかを調べる気は起きませんでした（JavaでJSを実行しその中のJavaコードとか訳が分からなすぎる^^;

Answer 3

直接的な回答ではないのですが・・・
まず使い方あってますか？

crc32 計算ツールで検索したwebサイトで”あいうえお”を計算するとB5D1F487と出てきました。
一応、２サイトで確認しましたが、どちらも同じでした。
ちなみに文字コードによって違うらしく、UTF-8の結果です。
※コメントにあるASCIIはどうなの？に関連するものです

さて、質問にあるjavaのコードですが、javascriptエンジンがないため、javaのコードで書いてみました。

var crc32 = new java.util.zip.CRC32();
crc32.update("あいうえお".getBytes());

System.out.print(crc32.getValue());
// output
// 3050435719

ご提示されている結果とも違いますが、使い方がそもそも違います。
javaはコンパイラがチェックするので、CRC32#update(String)という使い方が出来ません。
APIを見るとバイト配列となっています。

CRC32#getValueはlong値を返すので、これを文字列に変換しました。

System.out.println(Long.toHexString(crc32.getValue()));
// output
// b5d1f487

結果は大文字小文字の違いはありますが一致しました。

javascript側は、わかりませんがjavaでの使い方は間違っている可能性があります。
実装方法を確認するのも当然ですが、まずは使い方が正しいか確認してみてはどうでしょうか。

Answer 4

  crc = (crc >>> 8) ^ crcTable[(crc ^ str.charCodeAt(i)) & 0xFF];

これだと、文字の下位１バイトしか計算されてません。
コレだとダメですね

Comments

[mi2]

ありがとうございます。
任意のASCII文字列に対して同等の結果を出力するにはどのようにすればよろしそうでしょうか。
お手数をお掛けし申し訳ございませんが、ご教示いただけますと幸いです。