Q&A
両方のファイルの内容を、Excelの２枚のシートに入れて、match関数などで重複を探す方法が使えそうな気がします。但し、「いいい いいい」と「いいい おおお」を重複と見なすといった特殊な判断には既存の関数で対応できないかもしれません。（重複と判断するルールが明記されていないので、検討することが出来ません）
急ぎにつき乱文失礼します。
複数のテキストファイルから、重複している行を削除し、一意にしたいのですが、どのような方法があるでしょうか？
例としては以下になります。
・テキストファイルA.txt あああ あああ いいい いいい ううう ううう ・テキストファイルB.txt あああ あああ いいい おおお えええ えええ
この内、両ファイルで重複している「あああ あああ」の行を片方削除したいです。
また、「いいい いいい」と「いいい おおお」の行は一部文字列が異なりますが、これも重複行としてカウントし、片方削除したいです。
よろしくお願いします。
追記です
＞また、「いいい いいい」と「いいい おおお」の行は一部文字列が異なりますが、これも重複行としてカウントし、片方削除したいです。
これについての重複と判断するルールです。
以下のようにコロンで区切られていて前半だけ一致して後半が一致していない場合でも重複としてカウントしたいです。
いいい：いいい
いいい：おおお
ただし、以下のようにコロンで区切られた文字が２～７組で可変する可能性があります。
これらを全て重複としてカウントしたいです。
いいい：いいい
いいい：いいい：おおお
いいい：いいい：えええ：おおお
ありがとうございます。重複のルールについて追記しました
重複している場合、どちらのファイルにある行を削除しますか (前、後、どちらでもいい、その他)。また、重複削除したあとの行はどういう順序で並べればいいですか (ソートする、どうでもいい、その他)。
ご返信ありがとうございます。削除する行は後、削除したあとの順序はとくに指定はありません
回答4件
0
ruby で作ってみました。
a.rb
ruby
1lines = ARGV.map{|file| File.readlines(file) }.flatten! 2lines.uniq! { |line| line.split(':')[0] } 3puts lines
実行例です。
a.txt
あああ: あああ いいい: いいい ううう: ううう
b.txt
あああ: あああ いいい: おおお えええ: えええ いいい: いいい いいい: いいい:おおお いいい: いいい:えええ:おおお
$ ruby a.rb a.txt b.txt あああ: あああ いいい: いいい ううう: ううう えええ: えええ
コマンドラインの引数は、２つのファイル名だけでなく、いくつでもファイル名を指定できます。指定されたファイルすべてから重複を除いた結果を表示します。
投稿2017/01/18 16:22
総合スコア22328
0
複数区切りの重複判定について
Aファイルに「いいい：ううう」がある場合、Bファイルに「いいい：かかか」があれば重複とみなすと思いますが、「さささ：いいい：すすす」のように複数区切りの途中にあるものは重複とみなしますか？
今回は複数区切りされている場合でも先頭の文字列でのみ重複の判断をする（上記例では「さささ」として扱う）ものとしてアドバイスさせていただきます。
この前提条件に誤りがありましたらその旨ご連絡ください。
対応案
①まず、テキストファイルの内容をそのままエクセルに貼り付けます。
A列 ================================ あああ：あああ ←Aファイル いいい：いいい ううう：ううう あああ：あああ ←Bファイル いいい：おおお えええ：えええ いいい：いいい ←複数区切り重複サンプル いいい：いいい：おおお いいい：いいい：えええ：おおお
②B列に区切り文字以前の文字列を抽出します。
B1セルに式=MID(A1,1,FIND("：",A1)-1)を記述し、必要な行数までコピーします。
A列 B列 ============================================ あああ：あああ あああ いいい：いいい いいい ううう：ううう ううう あああ：あああ あああ いいい：おおお いいい えええ：えええ えええ いいい：いいい いいい いいい：いいい：おおお いいい いいい：いいい：えええ：おおお いいい
②C列で重複の判定をします。
C1セルに式=IF(COUNTIF(B$1:B1,B1)=1,"o","x")を記述し、必要な行数までコピーします。
A列 B列 C列 ==================================================== あああ：あああ あああ o いいい：いいい いいい o ううう：ううう ううう o あああ：あああ あああ x いいい：おおお いいい x えええ：えええ えええ o いいい：いいい いいい x いいい：いいい：おおお いいい x いいい：いいい：えええ：おおお いいい x
④C列がｘの行を削除すればA列に目的のデータだけが残ります。
今回の方法はあくまで一例で他にも実現手段はありますが、Excel関数だけでできる簡単そうなものを紹介してみました。
参考になれば幸いです。
投稿2017/01/11 02:11
総合スコア3020
0
秀丸マクロを書いたことがないので (キー操作の記録・再生しか使ったことがない)、実際の関数名などがよくわかりませんが、次のようなことをすればできるのではないでしょうか。
最初のファイルを「1.txt」、2つめを「2.txt」とします。
"1.txt" にフォーカスを移す; テキストの一番最初に移動; while (カーソルがファイル末尾にない) { ワード選択; // 行頭から最初の "：" か空白の直前までを選択 if (何か選択されている) { コピー; "2.txt" にフォーカスを移す。 「"^" + クリップボードの内容 + "([： ].*)?\n"」としてできる正規表現にマッチするものをすべて "" に置換する; "1.txt" にフォーカスを移す; } 論理行末に移動; カーソル右移動; // 次の論理行の行頭に移動 }
終了した時点で、2.txtの中の1.txtと重複する行が全て取り除かれているはずです (なお、1.txt自身の中に互いに重複する行があっても、取り除かれません)。
「ワード選択」の箇所は、フィールドにひらがなしか含まないという前提ですが、数字なども混在するのならうまくいかないかもしれません。工夫して下さい。また、フィールドに正規表現のメタキャラクタが含まれ得るのなら、正規表現を作るところではエスケープする必要があります。
投稿2017/01/10 13:32
総合スコア4441
0
ベストアンサー
「ファイルAとBをつなげたものから、:以前が同じものを重複として２つ目以降を削除する」
ということでいいでしょうか？
- ExcelのA列にファイルAとファイルBの行を順番に入れていきます。
- A列をコピーしてB列を作ります。
- B列を、データ→区切り位置で、区切り文字を
:にして区切ります。 - C列以降を削除します。
- データ→重複の削除で、B列を対象にして、重複行を削除します。
- B列を消します。
以上
投稿2017/01/10 04:00
総合スコア86349
ありがとうございます。やってみます。
『:以前が同じものを重複として』では、「いいい いいい」と「いいい おおお」が重複しない事になってしまいますから、ダメなのではないでしょうか？
coco_bauerさん
空白区切りは単なる例で、実際にやりたいのはコロン区切りですよ。質問文の追記の部分を見てください。
ありがとうございます。:で区切るのが正解です。空欄になっているのは間違いです。すいません。
otnに質問なのですが、A列をコピーしてB列を作るのは何故でしょうか？
B列は分解されて、最初のコロンの左側しか残らないので、元のデータをA列にそのまま残しておくためです。
やってみればわかると思うのですが、やってないのですか？
otnさんご回答ありがとうございます。ちょっと色々と立て込んでいてすぐに試せない状況です。あとで試させていただきます。それと一つ前の返信で敬称が抜けていました。大変失礼いたしました。
otnさんの方法でできました。ありがとうございました。他の皆さんも貴重なお時間をとっていただきありがとうざいました。
あなたの回答
tips
プレビュー
