連続する行を削除したい

Question

AAA
BBB
CCC
DDD
DDD
DDD
EEE
FFF

このようなファイルがある時、DDDが連続しているので、2つ目と3つめのDDDを削除したいです。
連続する行に書かれている文字列はわかっています。

AAA
BBB
CCC
DDD
EEE
FFF

path = file1
f = open(path)
line = f.readlines()
f.close()

for list in line:
    with open(path) as f:
         next(f)
         for line2 in f
             if line2 == list:

このように、同じファイルの1行目とn+1行目を順に比較していこうとしました。
しかし、この方法だと、同じ行が2回以上連続している場合に対処できないことに気づき、行き詰まっています。

うまいやり方をご教示ください。
よろしくお願いします。

Answer 1

from __future__ import print_function
import sys

if sys.version_info.major == 2:
    from itertools import izip_longest as zip_longest
else:
    from itertools import zip_longest

    
with open('file.txt') as fin:
    src = fin.read().splitlines()
    
dst = [
    l1 for l1, l2 in zip_longest(src, src[1:])
    if l1 != l2
]
print(*dst, sep='\n')

3.xでも2.7でも動作します。

評価を受けて

@低評価を付けた方
改めて回答を見直しましたが、低評価の理由に思い当たりませんでした。
改善する余地があるのであれば対応しますので、問題点をコメント頂けますか。

Answer 2

意味不明なコードですね。

lineにファイル全部を読み込み済みなので、for list in line:で、1行ずつ見ていきます。
で、前の行と同じだったら、出力をしない。
比較する対象である前の行は、前回のループで別の変数に覚えておく必要があります。

Comments

[退会済みユーザー]

＞比較する対象である前の行は、前回のループで別の変数に覚えておく必要があります。

この部分がどうすればいいのかわからないので、コードを示していただけないでしょうか？

[otn]

old = list

[退会済みユーザー]

質問で書いたコードと教えていただいた考え方を元にできました。
少し考えればわかることでした。
ありがとうございます。

[otn]

old = None
for list in line:
→if list!= old:
→→print(list)
→old = list
ですかね。list と line の名前が直感と逆な気がします。

Answer 3

二番目の結果が求めているものでしょうか？

d.py

in_file = "data0.txt"
out_file_1 ="data1.txt"
out_file_2 ="data2.txt"

with open(in_file, 'r') as f:
    lines = f.readlines()

lines_1 = sorted(list(set(lines)),key=lines.index)

with open(out_file_1, 'w') as f:
    for line in lines_1:
        f.write(line)

lines_2 = []
for line in lines:
    if lines_2 == [] or lines_2[-1] != line:
        lines_2.append(line)

with open(out_file_2, 'w') as f:
    for line in lines_2:
        f.write(line)

実行結果例

参考情報

• listをuniqueにする方法【重複要素の削除】

https://lanchesters.site/python-list-uniq/

Answer 4

参考情報

• Pythonでリスト（配列）から重複した要素を削除・抽出

https://note.nkmk.me/python-list-unique-duplicate/

Comments

[otn]

重複じゃなくて連続の話なので、そのままでは使えない気がします。

[katoy]

あ、　そうですね。
地道に前行と比較していくしかない？