Pythonで複数キーワードが含まれるテキストの検索

Question

###前提・実現したいこと

Pythonで複数キーワード（単語）が含まれるテキストを検索したいです。
キーワードの数はユーザー入力次第で変化しますが、２～５個程度の想定です。
キーワードがテキストに全て含まれている必要はありません。
キーワードが含まれる数が多い順に、検索結果を表示したいです。

###発生している問題・エラーメッセージ

Python初学者でどういったアプローチで考えていけばよいかの手がかりがつかめていません。
何をどう調べていけばよいのか、方向性をご教示頂けませんでしょうか。

Answer 1

どの程度の規模のテキストからどの程度の頻度で検索するのか、また期待するレスポンス速度にもよりますが、ある程度の規模でやるなら、全文検索はインデックスを作る方がいいかもしれませんね。

Wikipediaを検索する形態素解析型の全文検索エンジンを実装します。検索文字列と各記事の類似度を計算して、類似度順に検索結果を表示することで全文検索を実現します。高速に検索するために索引と逆索引を実装していきます。

形態素解析型の全文検索エンジンを実装してWikipediaを全文検索 - Qiita

今回はこのwhooshを使って手元のMLを検索してみる、全文検索ツールを試しに作ってみました。

Python純正の全文検索ライブラリ、Whooshを使ってみた - そこはかとなく書くよ。

Comments

[teratailxyz]

ご回答ありがとうございます。インデックス、というキーワードすら知らなかったので大変参考になりました。いただいたリンクを参考により詳細調べてみます。

Answer 2

書いてみました。
キーワードとその出現回数を辞書として持っています。

f = open("testdata",'r')
keyword = {"aaa" : 0 , "bbb" : 0 , "ccc" : 0 }
for line in f:
    for word in keyword.keys() :
        keyword[word] = keyword[word] + line.count(word)
f.close()

print sorted(keyword.items(), key=lambda x: x[1], reverse=True)

Comments

[teratailxyz]

ご回答ありがとうございます。こういったコードの書き方になるんですね、勉強になります。入門書参考に文法を読み解いてみます。

Answer 3

もう既に変数 text にテキストがあり、keyword に検索キーワードが入っているのであれば、次のようにしてキーワードの数を取得することができます。

#!/usr/bin/env python3
# utf-8

text = "こんにちは。こけこっこ。"
keyword = "こ"

print(text.count(keyword))  # 4

並べ替えは色々な方法があります。例えば、テキストをキー、count() の結果をバリューにした辞書を作って、次のようにすれば、ソート済みのリストが得られます。

sorted_list = sorted(d.items(), key=lambda x: x[1])

Comments

[teratailxyz]

ご回答ありがとうございます。私の質問の仕方が悪く申し訳有りませんでしたが、キーワードは文字ではなく単語を考えていました。。