質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

ただいまの
回答率

90.45%

  • Python

    12338questions

    Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

pythonでfor文の中でfor文を回すときの最適な方法について

解決済

回答 3

投稿

  • 評価
  • クリップ 0
  • VIEW 1,789

kohekoh

score 123

pythonについてです

以下のようなコードがあります

collection = nltk.TextCollection(word) 
uniqterms = list(set(collection)) 
for do in word:
    wo=[]
    for term in uniqterms:
        if(collection.tf_idf(term, do) > 0):
           wo.append([term,collection.tf_idf(term, do)])


このときfor文の中でfor文が回っているので
O(n^2)になるはずです

自分が実行したいデータでは、wordとuniqtermsが非常に大きいので
処理時間が膨大になってしまいます

どうにかこの処理を軽くできませんか?
コードの書き方とか、ライブラリとかがあれば教えていただきたいです

  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

質問への追記・修正、ベストアンサー選択の依頼

  • mattn

    2017/07/05 01:10

    collection.tf_idf が 1 以上を返す条件次第なのでループは変えられないと思います。先に絶対にありえないペアを取り除いておくとループが回る回数を減らす事は出来ます。

    キャンセル

  • kohekoh

    2017/07/05 08:55

    なるほど、ありがとうございます

    キャンセル

回答 3

+2

遅いなら並列化すればいいじゃん。

雨の中、Cを書かずにPythonで並列計算をする人間がいてもいい。自由とはそういうものだ。

今時のCPUマルチコアだけど、普通に書くと、一つのCPUしか使わないから、全力じゃないですよ。

投稿

編集

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2017/07/05 12:31

    ありがとうございます
    参考にさせていただきます

    キャンセル

+2

from itertools import product
from functools import lru_cache

collection = nltk.TextCollection(word)
uniqterms = list(set(collection))

@lru_cache(maxsize=len(uniqterms))
def costy_eval(term, do):
    return term, collection.tf_idf(term, do)

wo = [*filter(
    lambda *args: args[1] > 0,
    map(costy_eval, *zip(*product(uniqterms, word)))
)]

'''
- 2重ループの代わりにproductとmap、ifの代わりにlambdaとfilterを使用
- collection.tf_idfの呼び出し回数が減らせるかもしれないのでlru_cacheをかます
- listへのappend呼び出し回数を減らすためにイテレータから直接listを生成
- woの順序を問わないのであればconcurrent.futuresで並列化する手もあり
- 追記:costy_evalの引数が2個なのでproductにzipを追加。mapの使い方を間違えてました。
- 追記2:アスタリスクを二つ足したのでもう速くなさそうなコードになりました。
'''

投稿

編集

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2017/07/05 12:31

    これを入力すると
    wo= … のところで
    unhashable type :'list'
    のエラーがでてしまいます
    なぜでしょうか

    キャンセル

  • 2017/07/05 14:19

    uniqtermsとwordはどんなデータですか?

    キャンセル

  • 2017/07/05 14:50

    多分termかdoがlistだからlru_cacheでキャッシュできないんだと思いました。lru_cacheを外してみてください。

    キャンセル

  • 2017/07/05 18:36

    外しました
    そのあと、実行すると
    また同じやつがでてきてしまいました
    ちなみに、map(costy_eval, product(uniqterms, word)
    の部分のcosty_evalは引数を入力して実行でいいんですよね

    そのまま実行したら、引数ないですよっていわれたので

    キャンセル

  • 2017/07/05 21:31

    なるほど…ありがとうございます

    キャンセル

checkベストアンサー

+1

TF= 文書(doc)における単語の出現頻度なので、0以外を抽出したいだけなら文書(doc)に存在する単語のみ計算すればよいです。(TF-IDF = TF * IDFにて文書に存在しない単語のTFは0になる)
2重ループはそのまま残りますが、計算量は減ります。

import nltk

docs = [
    ['明日','の','天気','は','晴れ'],
    ['今日','の','天気','は','曇'],
    ['昨日','の','天気','は','晴れ']]

collection = nltk.TextCollection(docs) # 文書群に存在する全単語が含まれる
print(set(collection))

print( '全探索')
uniqTerms = list(set(collection))
for doc in docs:
    print( "====================")
    for term in uniqTerms:
        print( "%s : %f" % (term, collection.tf_idf(term, doc)))

print( '文書に存在する単語のみ探索')
for doc in docs:
    print( "====================")
    # 1文書に存在する単語のみ計算。存在しない場合は常に0なので。
    for term in set(doc):
        print( "%s : %f" % (term, collection.tf_idf(term, doc)))


さらに、全文書に必ず存在する単語、すなわち、IDFが0になる単語、上記例での「の」「天気」「は」を2番目のtermループから外しておくと、上記の例よりもさらに計算量を減らすことができます。

参考:nltk.TextCollection.tf_idf の使い方

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2017/07/05 19:46

    参考にさせていただきます 
    ありがとうございます

    キャンセル

15分調べてもわからないことは、teratailで質問しよう!

  • ただいまの回答率 90.45%
  • 質問をまとめることで、思考を整理して素早く解決
  • テンプレート機能で、簡単に質問をまとめられる

同じタグがついた質問を見る

  • Python

    12338questions

    Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。