回答編集履歴

  rubyには OpenSSL::Digest::SHA256 というハッシュ化する lib があります。 Python3 は経験がないのでわかりませんが、きっと有るのでは？

  rubyでは 33千行、180MBの各行処理で0.1秒でした。

 

  配列サイズがどのくらいになるか、ですが、その探索にも高速化の工夫が必要でしょう。

  配列ではなく(ruby語の)Hash を使うと早いかも。

 

  なおこの方法の欠点は「CSVとしては同じ内容だが、文字列としては異なる」場合に重複検出ミスります。例えば 文字データが " でくくられてるか ' でくくられてるか とか。

 

  どの方法をとるにしても 重複確認が必要なので「その探索にも高速化の工夫」は必要ですが、提案の方法の良いところは 32Byte整数なので、文字列での比較よりはずっと高速です。