質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.49%
正規表現

正規表現とは特定の文字列によるパターンマッチングを行う際に用いられる宣言型プログラミングです。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

Q&A

1回答

2637閲覧

正規表現で重複する単語を削除したい

退会済みユーザー

退会済みユーザー

総合スコア0

正規表現

正規表現とは特定の文字列によるパターンマッチングを行う際に用いられる宣言型プログラミングです。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

0グッド

1クリップ

投稿2018/07/17 03:44

編集2018/07/17 09:16

前提・実現したいこと

1行のテキストに空白区切りで英単語が含まれています。
このテキストに対して重複する単語を初回登場分だけ残して削除するというプログラムを書きたいと考えています。

発生している問題・エラーメッセージ

重複する単語の最後だけを残すマッチパタンはそれっぽく動くようになったので、
現在のプログラムでは以下のような仕様にしています。

  1. 単語の順番を逆にする
  2. 重複する単語の最後だけを残して抽出
  3. 逆順にして元の出現順に

これを、正規表現の置換だけで一発処理できるようにできないでしょうか。

該当のソースコード

python

1import re 2def remove_duplicate(txt): 3 rev_txt = ' '.join(reversed(txt.split())) # 単語を逆順にしたテキストをつくる 4 unique_words = re.findall(r'\b(\w+)\b(?!.*\b\1\b)', rev_txt) # 重複する単語は最後だけ残して抽出 5 return ' '.join(reversed(unique_words)) # 元々の順番に戻す 6 7 8# 以下は動作チェック用 9from collections import OrderedDict 10def check_remove_duplicate(txt): 11 return ' '.join(OrderedDict({w: '' for w in txt.split()})) 12 13test_patterns = [ 14 ['ten ten ten', 'ten'], 15 ['one two three', 'one two three'], 16 ['one two one one ten ten', 'one two ten'], 17 ['one two one one three', 'one two three'], 18 ['four three two one one two three four', 'four three two one'], 19 ['one eno one one oneone one eno oneeno', 'one eno oneone oneeno'], 20 ['a for a in aa if a is b and b in aa', 'a for in aa if is b and'], 21 ['as we know there are known knowns there are things we know that we know there are known unknowns there are things that we now know we do not know there are also unknown unknowns there are things we do not know we do not know', 22 'as we know there are known knowns things that unknowns now do not also unknown'], 23 ['', ''], 24] 25 26 27for s, exp in test_patterns: 28 res = remove_duplicate(s) 29 assert res == exp, res 30 assert res == check_remove_duplicate(s), res

試したこと

後読み機能でうまくマッチパタンを書けないか試してみましたが、pythonの正規表現では後読みは固定長のパタンしか使用できないようなので、あきらめました。

補足情報(FW/ツールのバージョンなど)

python 3.6.x

追記

単語の順番を反転させずに済む方法も考えてみましたが、処理が遅いです。

python

1def remove_duplicate(txt): 2 unique_words = re.findall(r'\b(\w+)\b(?!.*\b\1\b)', txt) # ユニークな単語を抽出 (単語が最後に登場する順番) 3 return ' '.join(sorted(unique_words, key=lambda x: re.search(r'\b{}\b'.format(x), txt).start())) # 単語の最初の出現位置でソート

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

guest

回答1

0

どう考えても正規表現向きの課題とは思えません。
素直に、
0. 先頭から順番に単語を読みだす。
0. 出てきた単語を片っ端から「既出リスト」に追加
0. 既に既出リストにある単語であったなら絡文字列に置換
0. 出力

正規表現のブードゥーを駆使することを考えるよりこのほうが明らかに簡単確実です。

投稿2018/07/17 04:44

KojiDoi

総合スコア13671

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

退会済みユーザー

退会済みユーザー

2018/07/17 09:09

回答ありがとうございます。ご指摘はごもっともでOrderedDictかSetあたりを使うのが簡単だと思います。今回は正規表現に慣れるのが目的なので、面白い技がないかもう少し考えてみようと思います。
guest

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

まだベストアンサーが選ばれていません

会員登録して回答してみよう

アカウントをお持ちの方は

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.49%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問