python3 同じ画像か判定方法 ハッシュ値など

Question

まったく、同じ画像なのかを判定して削除したいと思いました。

画像を渡してハッシュ値が同じなら、削除しようと思ったのですが、
返り値が、それぞれ異なります。

import hashlibは画像などに使えないのでしょうか？
それとも画像ではなく、ファイル名を渡してるだけ、だったりするのでしょうか？

画像ファイルは全く同じです。

import glob
l=glob.glob('*.jpg')
print(l)


import hashlib


for i in l:
	print("MD5:", hashlib.md5(i.encode("utf-8")).hexdigest() )
	print("sha256:", hashlib.sha256(i.encode("utf-8")).hexdigest() )
	print("sha516:", hashlib.sha512(i.encode("utf-8")).hexdigest() )

実行結果

['1.jpg', '2.jpg']
MD5: f3ccdd27d2000e3f9255a7e3e2c48800
sha256: 4c468b3b16999fd9578189576d5f770cb4a16ad9fca0e798a251f00a54a87c5d
sha516: b660daf129e7e6453e5a6c910618f7f5c1d7e0c8ca1543a2467c364a932ce63deb90b6702e355704fb0b69ea22c41eb7114bea2ab8555c2487f6db77bb3c0492
MD5: 156005c5baf40ff51a327f1c34f2975b
sha256: 88a5d4f503b26504ed25f8cf38a0b97ddfd234c4f024896a96a3fa363de0660b
sha516: 8f59a8994afca472196990fda37f09751c2d2f955ee00330d6b44125140ca8b2dc5b8cf8de83b815356e53c9cc9b3d5696917ab9e1e97cfcf05b51009cf8fa1f

Answer 1

hash 計算をするのは　それなりに CPU 資源をつかいます。
単純にファイル内容を filecmp.cmp をつかって素直に比較するだけで十分では？

参考情報

• filecmp — ファイルおよびディレクトリの比較

https://docs.python.jp/3/library/filecmp.html

• Selenium2(WebDriver)で画面の出力結果が影響を受けてないことをテストしてみた

https://qiita.com/kashis_tw/items/2b58992ca8044fec34d4

Answer 2

それとも画像ではなく、ファイル名を渡してるだけ、だったりするのでしょうか？

ご認識の通りです。

blocksize = 10240
for i in l:
  md5_hash = hashlib.md5()
  sha256_hash = hashlib.sha256()
  sha512_hash = hashlib.sha512()
  with open(i,"rb") as f:
    buf = f.read(blocksize)
    while len(buf) > 0:
      md5_hash.update(buf)
      sha256_hash.update(buf)
      sha512_hash.update(buf)
      buf = f.read(blocksize)
  print("MD5: ", md5_hash.hexdigest())
  print("sha256: ", sha256_hash.hexdigest())
  print("sha512: ", sha512_hash.hexdigest())

こんな感じでファイルの中身を比較しましょう。

Comments

[SpecialTukimiya]

今回は実装が楽なimport filecmpを利用させて頂きました。
ファイル自体を開く行為とコードは参考にさせて頂きます。