実行結果をすぐに表示したい

Question

#実現したいこと
青空文庫の「吾輩は猫である」から品詞を得てその数をカウントし、表示するプログラムを作っているのですが、文章が長いために品詞を得る際のfor文が完全に処理しきるまでにかなり時間がかかる問題で困っています。そのため実行してもしばらくは何も表示されません。通常のプログラムのように実行ボタンを押すとすぐにprintの中身を表示するようにしたいのですがどうすればいいですか？
#該当のソースコード

import urllib.request

from janome.analyzer import Analyzer
from janome.charfilter import *
from janome.tokenizer import Tokenizer


class MainTextCharFilter(CharFilter):

    def __init__(self, start, end):
        self.start = start
        self.end = end

    def apply(self, text):
        return text.split(self.start)[1].split(self.end)[0]

# 夏目漱石
# 吾輩は猫である
url = 'http://www.aozora.gr.jp/cards/000148/files/789_14547.html'

html = ''

with urllib.request.urlopen(url) as response:
    html = response.read().decode('shift_jis')


char_filters = [UnicodeNormalizeCharFilter(), 
                MainTextCharFilter('<div class="main_text">', '<div class="bibliographical_information">'), 
                RegexReplaceCharFilter('<rp>(.*?)</rp>', ''), 
                RegexReplaceCharFilter('<.*?>', '')] 

tokenizer = Tokenizer()

analyzer = Analyzer(char_filters, tokenizer)

meishi=0
doushi=0
for token in analyzer.analyze(html):
    if token.part_of_speech.split(',')[0] == "名詞":
        meishi=meishi+1
    elif token.part_of_speech.split(',')[0] =="動詞":
        doushi=doushi+1

    print(".",end="")

print("名詞:"+str(meishi))
print("動詞:"+str(doushi))

#試したこと
printをfor文の中に入れてみました。その時の実行結果を下に示します。

名詞:1
動詞:0
名詞:1
動詞:0
名詞:1
動詞:0
名詞:1
動詞:0
名詞:1
動詞:0
名詞:2
動詞:0
名詞:2
動詞:0
名詞:3
動詞:0
名詞:3
動詞:0
名詞:3
動詞:0
名詞:3
動詞:0
名詞:4
動詞:0
名詞:4
動詞:0
名詞:4
動詞:0
名詞:4
動詞:0
名詞:4
動詞:0
名詞:4
動詞:0
名詞:4
動詞:0
名詞:5
動詞:0
名詞:5

Comments

[kazto]

1) プログラムと実行結果が合っていないように思います。ご提示のソースでは、名詞、動詞が１回ずつだけ表示されるように読めます。
2) 遅いのは、本当にfor文でしょうか。プロファイルは取りましたか？

[quickquip]

質問の意図がわからないのですが、for文が回りきる前の結果をprintしてもなにか意味があるのかと思ってしまいます。
ということは、printしたいのは途中の、つまり済んでいる分のデータということでしょうか?
ところがソースを見るかぎり、それができるスキルは持っているように見えるので、質問の意図がわからなくなっています。

[quickquip]

あるいは、時間がかかる（何秒? 何十秒?）処理を1秒ぐらいにしたいという質問でしょうか?
その場合具体的な数字がないことで、意図がわかりにくくなっているのかも。

[退会済みユーザー]

時間がかかる処理を1秒ぐらいにしたいという質問です。

[Q71]

時間がかかっているのはどこですか。それは調べてありますか。

[退会済みユーザー]

時間がかかっているのはforループの処理です。元の文章が長いため処理に時間がかかっていると思われます。

Answer 1

通常のプログラムとは一体なんでしょうか？
例えば、、、

sum = 0
for i in range(10):
    sum =+ i
    print(sum)

以下のようなプログラムを実行した場合、、、

出力結果
0
1
3
6
(略)
45

このようなプログラムだと一瞬で処理が終わり画面表示が行われますが、質問者のようなプログラムだと処理内容が桁違いなのでしょう。

対策

スレッドを立てて、リンク先の文章を分割して処理させると、処理時間が短縮できると思います。

Comments

[LouiS0616]

あまり詳しく無いので私の誤解かもしれませんが、単にマルチスレッド化しても高速化の恩恵は受けられないのではないでしょうか。

[Ryupe]

そうなんですか？
自分も実際にマルチスレッドを実装した経験がないですが、マルチスレッドは質問者のようなケースが一番恩恵が得られそうな気がしてました。

マルチスレッド化したところで、スレッド単体の速度が低下してしまうようであれば違うところに問題があるということですし。

[LouiS0616]

threadingモジュールのリファレンス (https://docs.python.org/ja/3/library/threading.html) には次のような記述があります。

> CPython implementation detail: CPython は Global Interpreter Lock のため、ある時点で Python コードを実行できるスレッドは1つに限られます (ただし、いくつかのパフォーマンスが強く求められるライブラリはこの制限を克服しています)。アプリケーションにマルチコアマシンの計算能力をより良く利用させたい場合は、 multiprocessing モジュールや concurrent.futures.ProcessPoolExecutor の利用をお勧めします。 ただし、I/Oバウンドなタスクを並行して複数走らせたい場合においては、 マルチスレッドは正しい選択肢です。
(引用終わり)

シングルプロセスでマルチスレッドを走らせることは、切り替えの手間がかかってむしろ低速化する要因になるかと思います。
multiprocessingモジュールを利用すれば高速化が望めますが、理想的なケースでもコア数倍に留まるでしょう。

なお、CPythonだけでなくPyPyもGILを取り入れているようです。
http://doc.pypy.org/en/latest/faq.html#does-pypy-have-a-gil-why

---
重ねて申し上げますが、私はマシンレベルの実装やマルチプロセス／マルチスレッドプログラミングには疎いので頓珍漢な指摘をしているかもしれません。実測もしていません。
あくまで確認の為のコメントであるとご了承下さい。

[退会済みユーザー]

ご回答ありがとうございます。参考にさせていただきます。

Answer 2

• とりあえず、毎回ダウンロードするのをやめてローカルに保存したテキストファイルから読み込むようにする。
• janomeは遅いのでmecabにする

あたりでしょうか。

Comments

[退会済みユーザー]

ご回答ありがとうございます。参考にさせていただきます。