python2.7 テキストから重複する行を削除する

Question

Python2.7を利用しています。

#憲法9条
#平和憲法
#辺野古
#普天間
#8221
#8221
#経済
#辺野古
#普天間

上のようなテキストファイルを読み込み
以下のように重複している行を削除したテキストファイルを新たに作成する方法を教えていただきたいです。

---

#憲法9条
#平和憲法
#辺野古
#普天間
#8221
#経済

for line in open(テキスト名).readlines:
で、一行ずつ読み込むことは知っているのですが、他の行と比較することができないため悩んでいます。

環境は、MacOS Xです。
よろしくお願いします。

Answer 1

Pythonにはuniqといった重複を取り除く関数は標準で用意されていません。なので、別配列を用意して、一つ一つについてなければ入れるという方法をとります。

list = []
for line in open("test.txt").readlines():
    if line not in list:
        list.append(line)
for line in list:
    print line,

もし、順序が不定になってもいいのであれば、setを使うとより簡単にできます。

for line in set(open("test.txt").readlines()):
    print line,

Comments

[nakanofu]

回答ありがとうございました。
教えていただきましたsetを用いた方法で解決しました。
また、機会がありましたらよろしくお願いします。

Answer 2

集合（または辞書）を使います。
登録順序が必要な場合はOrderedDictを使います。
集合（または辞書）は、順序を持ちません。

s = set()
for line in open(テキスト名).readlines:
    s.add(line)

print(s)