複数のテキストファイルから重複した行を削除する方法

急ぎにつき乱文失礼します。

複数のテキストファイルから、重複している行を削除し、一意にしたいのですが、どのような方法があるでしょうか？
例としては以下になります。

・テキストファイルA.txt
あああ あああ
いいい いいい
ううう ううう

・テキストファイルB.txt
あああ あああ
いいい おおお
えええ えええ

この内、両ファイルで重複している「ああああああ」の行を片方削除したいです。
また、「いいいいいい」と「いいいおおお」の行は一部文字列が異なりますが、これも重複行としてカウントし、片方削除したいです。

よろしくお願いします。

追記です
＞また、「いいいいいい」と「いいいおおお」の行は一部文字列が異なりますが、これも重複行としてカウントし、片方削除したいです。
これについての重複と判断するルールです。
以下のようにコロンで区切られていて前半だけ一致して後半が一致していない場合でも重複としてカウントしたいです。
いいい：いいい
いいい：おおお

ただし、以下のようにコロンで区切られた文字が２～７組で可変する可能性があります。
これらを全て重複としてカウントしたいです。
いいい：いいい
いいい：いいい：おおお
いいい：いいい：えええ：おおお

coco_bauer

2017/01/10 02:04

両方のファイルの内容を、Excelの２枚のシートに入れて、match関数などで重複を探す方法が使えそうな気がします。但し、「いいいいいい」と「いいいおおお」を重複と見なすといった特殊な判断には既存の関数で対応できないかもしれません。（重複と判断するルールが明記されていないので、検討することが出来ません）

oshigotoDacho

2017/01/10 02:14

ありがとうございます。重複のルールについて追記しました

ikedas

2017/01/10 04:58

重複している場合、どちらのファイルにある行を削除しますか (前、後、どちらでもいい、その他)。また、重複削除したあとの行はどういう順序で並べればいいですか (ソートする、どうでもいい、その他)。

oshigotoDacho

2017/01/10 05:05

ご返信ありがとうございます。削除する行は後、削除したあとの順序はとくに指定はありません

行動規範の内容に同意します

回答4件

ruby で作ってみました。

a.rb

ruby
1lines = ARGV.map{|file| File.readlines(file) }.flatten!
2lines.uniq! { |line| line.split(':')[0] }
3puts lines

実行例です。
a.txt

あああ: あああ
いいい: いいい
ううう: ううう

b.txt

あああ: あああ
いいい: おおお
えええ: えええ
いいい: いいい
いいい: いいい:おおお
いいい: いいい:えええ:おおお

$ ruby a.rb a.txt b.txt
あああ: あああ
いいい: いいい
ううう: ううう
えええ: えええ

コマンドラインの引数は、２つのファイル名だけでなく、いくつでもファイル名を指定できます。指定されたファイルすべてから重複を除いた結果を表示します。

投稿2017/01/18 16:22

katoy

総合スコア22324

複数区切りの重複判定について

Aファイルに「いいい：ううう」がある場合、Bファイルに「いいい：かかか」があれば重複とみなすと思いますが、「さささ：いいい：すすす」のように複数区切りの途中にあるものは重複とみなしますか？

今回は複数区切りされている場合でも先頭の文字列でのみ重複の判断をする（上記例では「さささ」として扱う）ものとしてアドバイスさせていただきます。
この前提条件に誤りがありましたらその旨ご連絡ください。

対応案

①まず、テキストファイルの内容をそのままエクセルに貼り付けます。

A列
================================
あああ：あああ                  ←Aファイル
いいい：いいい
ううう：ううう
あああ：あああ                  ←Bファイル
いいい：おおお
えええ：えええ
いいい：いいい                  ←複数区切り重複サンプル
いいい：いいい：おおお
いいい：いいい：えええ：おおお

②B列に区切り文字以前の文字列を抽出します。
B1セルに式=MID(A1,1,FIND("：",A1)-1)を記述し、必要な行数までコピーします。

A列                                 B列
============================================
あああ：あああ                      あああ
いいい：いいい                      いいい
ううう：ううう                      ううう
あああ：あああ                      あああ
いいい：おおお                      いいい
えええ：えええ                      えええ
いいい：いいい                      いいい
いいい：いいい：おおお              いいい
いいい：いいい：えええ：おおお      いいい

②C列で重複の判定をします。
C1セルに式=IF(COUNTIF(B$1:B1,B1)=1,"o","x")を記述し、必要な行数までコピーします。

A列                                 B列     C列
====================================================
あああ：あああ                      あああ  o
いいい：いいい                      いいい  o
ううう：ううう                      ううう  o
あああ：あああ                      あああ  x
いいい：おおお                      いいい  x
えええ：えええ                      えええ  o
いいい：いいい                      いいい  x
いいい：いいい：おおお              いいい  x
いいい：いいい：えええ：おおお      いいい  x

④C列がｘの行を削除すればA列に目的のデータだけが残ります。

今回の方法はあくまで一例で他にも実現手段はありますが、Excel関数だけでできる簡単そうなものを紹介してみました。
参考になれば幸いです。

投稿2017/01/11 02:11

jawa

総合スコア3013

oshigotoDacho

2017/01/11 02:15

ありがとうございます。試してみます。

行動規範の内容に同意します

秀丸マクロを書いたことがないので (キー操作の記録・再生しか使ったことがない)、実際の関数名などがよくわかりませんが、次のようなことをすればできるのではないでしょうか。

最初のファイルを「1.txt」、2つめを「2.txt」とします。

"1.txt" にフォーカスを移す;
テキストの一番最初に移動;
while (カーソルがファイル末尾にない) {
    ワード選択;                     // 行頭から最初の "：" か空白の直前までを選択
    if (何か選択されている) {
        コピー;
        "2.txt" にフォーカスを移す。
        「"^" + クリップボードの内容 + "([： ].*)?\n"」としてできる正規表現にマッチするものをすべて "" に置換する;
        "1.txt" にフォーカスを移す;
    }
    論理行末に移動; カーソル右移動; // 次の論理行の行頭に移動
}

終了した時点で、2.txtの中の1.txtと重複する行が全て取り除かれているはずです (なお、1.txt自身の中に互いに重複する行があっても、取り除かれません)。

「ワード選択」の箇所は、フィールドにひらがなしか含まないという前提ですが、数字なども混在するのならうまくいかないかもしれません。工夫して下さい。また、フィールドに正規表現のメタキャラクタが含まれ得るのなら、正規表現を作るところではエスケープする必要があります。

投稿2017/01/10 13:32

ikedas

総合スコア4443