pythonで重複する文字列を無くしたいです

テキストファイルの、カンマまでの文字列の重複を無くしたいです。
ここで扱うテキストファイルには、一行に（,******）のような文字列があり、カンマが必ず存在します。条件は以下の通りです。
0. 重複の有無にかかわらず、カンマ以前の文字列は削除、もしくは別ファイルの書き出し時に抽出しないものとします。
0. 重複があった場合は、一方の文字列全体を消去もしくは別ファイルの書き出し時に抽出しないものとします。

下記のような、一行の文字列全体の重複を抽出しないコードは完成できましたが、上記のような条件のコードは作ることができませんでした。どなたか、回答のほどよろしくお願い申し上げます。

python
1lines_seen = set() 
2outfile = open("******.txt", "w")
3for line in open("*****.txt", "r"):
4    if line not in lines_seen:
5        outfile.write(line)
6        lines_seen.add(line)
7outfile.close()

sfdust

2020/11/27 07:43 編集

質問文に、加工前のデータファイルの具体例を記載し「重複する場合」、「重複しない場合」それぞれの期待する結果(最終的にどういうデータになっているべきなのか）も追記していただくと、処理の内容が分かりやすいと思います。

ume1010

2020/11/27 07:43

すみません、「番号リスト」は誤字であり、必要のない文字列でした。そのため、修正いたしました。ありがとうございます。

行動規範の内容に同意します

回答1件

ベストアンサー

下記読み込むファイルのエンコーディングはUTF-8であることが前提です。

lines_seen = set() 
outfile = open("out.txt", "w")
for line in open("in.txt", "r", encoding="utf-8"):
    try:
        # 「１行にカンマは必ず存在する」(この文言だとカンマは1つだけとは限らないので先頭のみ切り出す)
        key, data = line.split(',',1)
    except ValueError:
        print("---カンマが存在しない行を読み込みました。スキップして処理を継続します。---")
        continue
    if key not in lines_seen:
        outfile.write(data)
        lines_seen.add(key)
outfile.close()
print("処理が完了しました。")

投稿2020/11/27 08:01

編集2020/11/27 08:50

sfdust

総合スコア1137