filecmpで画像削除、バブルソートが終わらない。

Question

コード実行から20時間以上、経過してます。
画像は２５万枚(47G)ほど有ります。
グラフィックボードは積んで居ません
cpu
Intel® Core™ i3-2120 CPU @ 3.30GHz × 4
os
linux mint18.3 mate

１スレッド100%なのですが、途中から２スレッド利用できる様に
変更できないでしょうか？
また、処理の高速化には、どの様なアプローチが望ましいのか教えて下さい。

import os
import glob
import filecmp

Akari_Akaza=glob.glob('*.jpg')


for i in range(len(Akari_Akaza)):
	for j in range(len(Akari_Akaza)-1, i, -1):
		
		try:
			if filecmp.cmp(Akari_Akaza[i],Akari_Akaza[j]) == True:
				os.remove(Akari_Akaza[j])
			else:
				pass
		except:
			pass

Answer 1

ファイル読み込んで比較して、削除するというのは、とにかくディスクアクセスの時間分かかるので、いくらマルチタスクにしようが早くはなりえないと思われます。

この場合の手としては、
最初に全ファイルのハッシュを算出しておいて、そのハッシュをもとに比較をかければどうでしょうか

Comments

[SpecialTukimiya]

次回からはハッシュ値を参考に処理をかけて見ます。