node.jsとPythonでそれぞれmd5を計算した結果が異なる

Question

標題の通りです，私用で必要があるため，webで見つけたnode.jsでhashを計算するプログラムをPythonで書き起こしてみたものの，双方の結果が一致しなくて困っています．

var crypto = require('crypto');
var fs = require('fs');
var args = process.argv.splice(2);

/* ... */

if(args.length === 1) {
    md5Hash(args[0]);
}

/* ... */

function md5Hash(file) {
    const hash = crypto.createHash('md5');
    const input = fs.createReadStream(file);
    input.on('readable', () => {
        const data = input.read();
        if (data){
            hash.update(data);
        }
        else {
            console.log(hash.digest('hex'));
        }
    });
}

import hashlib
encode = "utf-8"
text = input('変換したい文字列\n>>').rstrip()
hash1=hashlib.md5(text.encode(encode)).hexdigest()
print(encode+" : "+hash1)

※処理内容としてはnode.jsの方はファイルの名前を参照してそれをmd5に，Pythonはそのまま文字列を打ち込みmd5を計算するようにしているため全く同じではないですが．．．

結果は以下のようになります．

#node

node hash.js .\files\0a39bcc9c0647cf569c6d7108726ec596007ed80
b8938f06d2bddd643769b2322dfca877

#python
変換したい文字列
>>0a39bcc9c0647cf569c6d7108726ec596007ed80
utf-8 : cf31175e3aadb0e711cdf2cfac2f640b

と，見ての通り結果が異なっています．

#試したこと
エンコード方法が両者で違うと考え，Pythonのtext.encode()をutf-8，Cp932，shift-jisでそれぞれ試しても結果は変わらなかった．

#欲しい回答
当方はこのnode.jsで得られるハッシュ列が作業で必要なため，Pythonの方をnode.jsの結果になるようにしたいのですが，node.jsを見てもmd5を単に計算しているようにしか考えられず，仕組みのよくわかっていないものを使うのは抵抗があります．知識を貸していただけたらと思います．

Answer 1

※処理内容としてはnode.jsの方はファイルの名前を参照してそれをmd5に，Pythonはそのまま文字列を打ち込みmd5を計算するようにしているため全く同じではないですが．．．

計算対象のデータを同じにすると一致します。

var crypto = require('crypto');

const hash = crypto.createHash('md5');
hash.update("0a39bcc9c0647cf569c6d7108726ec596007ed80");
console.log(hash.digest('hex'));

// Output: cf31175e3aadb0e711cdf2cfac2f640b

ハッシュ値計算は問題ありません。問題は与えるデータが違う点です。

---

./files/0a39bcc9c0647cf569c6d7108726ec596007ed80 を読み込んでいますが
違いを分かりやすくするために、ファイル名を test.txt ファイルの中身は ABCとします。

node.js のコードでは、ファイル test.txt の中身の文字列 「ABC」 のハッシュ値を計算
python のコードは 「test.txt」という文字列のハッシュ値を計算。

解決策: Pythonのコードでもファイルの中のデータを読み込むように対応する。

デバッグのヒント: まずは小さなデータを対象に
「計算対象のデータ」「計算されたハッシュ値」の双方を表示すると違いに気づくと思います。

---

追記2

コメントに書いたpythonのコードは確認用の短いコードで、
サイズの大きなファイルには使えないので、改良版のコードを追記しておきます。

出典: https://stackoverflow.com/questions/3431825/generating-an-md5-checksum-of-a-file

import hashlib
def md5sum(filename, blocksize=65536):
    hash = hashlib.md5()
    with open(filename, "rb") as f:
        for block in iter(lambda: f.read(blocksize), b""):
            hash.update(block)
    return hash.hexdigest()

print(md5sum("./files/0a39bcc9c0647cf569c6d7108726ec596007ed80"))

Comments

[退会済みユーザー]

回答ありがとうございます，node.jsはファイルの名前を読み取っていて，そのファイルと同じ名前の文字列を渡す場合(pythonのコードの実行内容)，結果が同じになると考えていたのですが 実際のところはそうでは無いということですか？

[teamikl]

言語の違いは関係なく、書かれてるコードの処理内容自体が異なります。
node.js はファイルの内容を読み取っているはずです。
もしファイルの中身とファイル名が同じという事なら、
末尾の改行文字などに注意してください。

node.js 側で、console.log(data) の出力はどうなりますか？
（もしくは、./files/0a39bcc9c0647cf569c6d7108726ec596007ed80 ファイルの内容を提示してください）

[teamikl]

Python側でも node.js 側と同等の処理をするなら、
同様にファイルの中身を読み取らなければいけません。

import hashlib
hash1=hashlib.md5(open("./files/0a39bcc9c0647cf569c6d7108726ec596007ed80", "rb").read()).hexdigest()
print(encode+" : "+hash1)

> node.jsはファイルの「名前を読み取って」いて

ここの認識が誤りかな？

[退会済みユーザー]

teamiklさんが仰っていたようにnode.jsの処理を勘違いしていたみたいです．pythonでファイルの中身を参照してそれを対象にしてみたらnode.js側と同じ結果になりました．ありがとうございました！