パイソン テキストファイルの中にある重複行を取り除く方法

Question

前提・実現したいこと

現在、テキストファイルの中にある重複行を取り除こうとしているのですが、どのようにすればいいのか教えていただけませんでしょうか？

apple.txtというテキストファイルが以下にあったとします。

---

None_None

ConfigHandler_56663624
ConfigHandler_56663624
ConfigHandler_56663624
ConfigHandler_56663624

None_None

ColumnConverter_56963312
ColumnConverter_56963312

PredicatesFactory_56963424
PredicatesFactory_56963424

PredicateConverter_56963648
PredicateConverter_56963648

ConfigHandler_80134888
ConfigHandler_80134888
ConfigHandler_80134888
ConfigHandler_80134888

---

None_None
ConfigHandler_56663624
ColumnConverter_56963312
PredicatesFactory_56963424
PredicateConverter_56963648
ConfigHandler_80134888

という行をプログラムの中で一行ずつ指定して取り除くのではなく、
テキストファイルを読み込んでその中に重複行があるときにその行を削除するようなコードを書きたいのですが。。。というのも実際のテキストファイルは何万行もあるためです。

理想的な結果

None_None

ConfigHandler_56663624

ColumnConverter_56963312

PredicatesFactory_56963424

PredicateConverter_56963648

ConfigHandler_80134888

### 試したこと

en = set（open（ 'apple.txt'））
などしてみたのですが。。だめでした。

Comments

[hayataka2049]

結果は順番を維持する必要がありますか？また、重複が連続しない場合はありますか？

Answer 1

こんな感じかと？

with open('apple.txt','r',encoding='utf-8') as f:
    hoge = f.readlines()
    print(f)

fuga = []
# 読込 改行コードのみじゃない場合、かつfugaに無い場合追加。
for i in hoge:
    if i != '\n':
        if i not in fuga:
            fuga.append(i)

# 書き込み
f = open('apple2.txt','w',encoding='utf-8')
for i in fuga:
    f.write(i + '\n')　#テキストに吐き出すから\nの改行コートをつける
f.close

Answer 2

How might I remove duplicate lines from a file?
の回答コードがそのまま求めるものになるかと思います。
set()は、各読込行から作成します。