Pythonで"りんご みかん"と"みかん りんご"を重複とみなし削除する方法

Question

Pythonで膨大なリストを作成しています。
そのうち、「りんご　みかん」という文字列と「みかん　りんご」を重複とみなして削除したいのです

split(" ")して、リスト化して、そのリストとおなじものがあったらcontinue
でもいいのですがそれでは非常に重くなってしまいます

もし簡単なメソッドで可能でしたらご教授ください

Comments

[8524ba23]

処理の流れが分かりませんので、出来ているソースコードを提示ください。

[Kommm]

すみません、今はまだ２個の単語のものしか完成はできておらず、３個以上のものでなんとかする方法はまだ作っていないのです・・・ですので投稿に値するものはまだできておりません

[8524ba23]

今出来ているコードでよいです。まず対象のデータ構造からわかりませんので。たとえば「りんご　みかん」と「みかん　りんご」は同じリスト内にある？別リスト？すら分かりません。

[Kommm]

今、作成致しました　下記に自己回答という形で記載しました

Answer 1

sortlistを順序付き辞書として用意し、そのキーをfrozensetとすれば目的の動作ができそうです。(frozen)setは、要素の順番が関係ない集合として要素を保持、管理します。

from collections import OrderedDict

sortlist = OrderedDict() # 重複を許さないリスト（順序付き辞書）
extract_keywords = ['不動産　投資','投資信託　低利','りんご　みかん','みかん　りんご','a　b　c','c　b　a']

for keyword in extract_keywords:
    key = frozenset(keyword.split())
    if key not in sortlist:
        sortlist[key] = keyword

for key,val in sortlist.items():
    print(val)
"""
不動産　投資
投資信託　低利
りんご　みかん
a　b　c
"""
# リストにしたければ以下のように…
sortlist = [val for key,val in sortlist.items()]

Comments

[Kommm]

ありがとうございます！！！
これで期待通りの動作が可能となりました
初めて知った知識などもあり、大変勉強となりました。
本当にありがとうございました！

Answer 2

split(" ")して、リスト化して、そのリストとおなじものがあったらcontinue

しかないとおもいますが。

Answer 3

処理の流れが不明ですが、setおよびfrozensetを用いればlistで処理するよりはかなり速くなると思われます。

text = """りんご　みかん\nみかん　りんご"""
result = {frozenset(line.split()) for line in text.splitlines()}

Comments

[Kommm]

ありがとうございます
実際はこの「りんご　みかん」と「みかん　りんご」は別で吐き出された２つのリストなので、同文字列内ではないのですがsplitlineの部分を単純に変えればいいのですね・・・

Answer 4

やはりリストしかなさそうなのでこうします

sortlist = []
extract_keywords = ["りんご みかん", "みかん りんご", "不動産　賃貸"]

for keyword in extract_keywords:
    test = keyword.split(" ").sort
    if not test in sortlist:
        sortlist.append(test)
    else: continue
    # 通常処理に続く
    print(keyword)
    # "みかん　りんご"はcontinue発動して存在しない

Comments

[8524ba23]

「SyntaxError: 'continue' not properly in loop」発生します。
ループ中から抜粋したソースのようですが、より広範囲のソースを提示すると何等かアドバイスコメントが得られるかもしれません。

[Kommm]

大変失礼しました
今、修正致しました

[8524ba23]

修正ありがとうございます。
問題がたぶん把握できたので回答しました。