pandas dataframeを実行中に結果を表示し続ける方法

Question

前提・実現したいこと

処理結果をPandasのDataframeに実行中にリアルタイムで表示しようとしています。
For文で繰り返し処理をしていて、各回の結果がDataframeの一行になります。
For文が多数の処理を行うため、実行中も出力結果を確認したく、実行中にDataframeをリアルタイムで表示し、更新し続けるにはどのようにすればよいでしょうか。

出力イメージはこのような感じです。実現したいことは一つ一つの行が追加されるたびに、出力結果が更新していくのを可視化したいです。

Print('aaa', flush = True)のPanda DataFrame版のようなことをやりたいです。

発生している問題・エラーメッセージ

pandasはflushは非対応、PrintにするとPandas dataframeの形でなくなり思った通り表示されない。

AttributeError: 'DataFrame' object has no attribute 'flush'

該当のソースコード

For文の中で処理した最後に、以下のDataframe処理をしています。ごちゃごちゃとした処理していますが、全てDataFrame変数です。

#データ抽出
##取得したHTMLが有効であったか、エラーであったを判別するためのリストを作りたい

for i in range(numberofURLs):
    dfname = 'df' + str(i)

    for url in URLs_list:
        try:
            response = requests.get(url)
            response.encoding = response.apparent_encoding
            soup = BeautifulSoup(response.text, 'html.parser')
           
            title = []
            for i in soup.find_all('p',):
               ## 改行コードを削除
               title.append(i.getText()[0:].replace('\n', ''))
            for i in soup.find_all('td',):
                title.append(i.getText()[0:].replace('\n', ''))
                      
            #リストを一つの連続した文字列に変換    
            mojiretu = ''.join(title)

            #検索結果をリスト化
            result = []
            for keyword in Keywords_list:
                result.append(mojiretu.count(str(keyword)))
            dfname = pd.DataFrame(result,columns=[url])
            df[url] = dfname    
            
        except Exception:
            result = [] 
            for i in Keywords_list:
                result.append(0)
 
            dfname = pd.DataFrame(result,columns=[url])
            df[url] = dfname    

    #Pandas Dataframeに処理
    dfset = df.set_index('Keywords')
    reversedf = dfset.transpose()
    reversedf = reversedf.astype(int)
    reversedf['Total'] = reversedf.sum(axis=1)
    reversedf_ascend = reversedf.sort_values('Total', ascending=False)  
    
    display(reversedf_ascend)

上記の通り、PrintのFlush=TrueではDataframeでは出力されなかったため、断念。それ以外はやり方が分からず試していません。

なお、Print(reversedf_ascend)のようにやるとこのような出力結果となってしまいます。

Keywords Professor Assistant
https://www.jica.go.jp/jica-ri/experts/takahara... 5 1
https://www.bbb 0 0
https://www.aaa 0 0
https://www.jica.go.jp/jica-ri/ja/publication/t... 0 0

Keywords Head Total
https://www.jica.go.jp/jica-ri/experts/takahara... 1 7
https://www.bbb 0 0
https://www.aaa 0 0
https://www.jica.go.jp/jica-ri/ja/publication/t... 0 0

ありがとうございます。
教えて頂いた以下のやり方で試したところ近づいたような気がしましたが、まだ思うような結果となっていません。
from IPython.display import display
display(df)

補足情報（FW/ツールのバージョンなど）

ここにより詳細な情報を記載してください。

Comments

[toast-uz]

ちょっと「各回の結果がDataframeの一列になります」とか具体的な出力イメージが不明です。行ではなく列ですよね。flush=Trueを入れないでprintするコードを提示して、どういう不具合があるのかを教えてください。

[toast-uz]

質問修正ありがとうございます。最後のprintの出力結果のどこに不満があり、どのような出力を期待されているのでしょうか？「実現したいこと」と同じ出力結果が出ていると思います。flush（出力タイミング）が課題なのではなく、単に出力フォーマットを変えたい（１行に並べたい）というとこでしょうか？そもそもターミナルの横桁数が限られていますが、それも考慮してどうされたいのでしょうか？
もしフォーマットの問題でしたら、Jupyter限定でprintでなくJupyter形式の出力をするdisplayという関数がありますが、こちらが目的に合うかもしれません。
https://qiita.com/hrsma2i/items/3970410d289542c5386c

Answer 1

displayの前に、全体を消去する処理をいれるのはどうでしょう。

from IPython.display import display, clear_output

for i in range(numberofURLs):
    # ...

    clear_output(wait=True)
    display(reversedf_ascend)

引数のwait=Trueはなくても動きますが、あったほうが動きがスムーズです。

Comments

[tompooh]

ありがとうございます。Output結果が複数表示されることはなくなりましたが、以前、For文が進むにつれて、行が増えていくような動きを表現することができず、For文が終わったタイミングで最後に最終結果のみが表示されています。処理が進むにつれて、行が順々に表示することはできないものでしょうか。

[bsdfan]

行が増えたタイミングでそのデータフレームを表示(clear_output と display)すればいいのではないでしょうか。
何が見たいのかと、ループの中で何をやっているのかいまいち理解できていないので、どのタイミングでどのデータフレームを表示すればいいかのアドバイスはできません。

[bsdfan]

for ループが二重になっているのがよくわからないままなのですが、
#Pandas Dataframeに処理
の行以降の表示に関する部分を、内側のループに入れてしまえば、
増えていく様子は確認できるんじゃないかという気がします。

Answer 2

質問者様とのやりとりで、「JupyterにおけるDataFrameの表示形式を、コード実行中の任意の箇所で表示させたい」という意図と理解しました。print文だと表示が崩れてしまうためと思います。

そのような時は、Jupyter限定ですがdisplay文をprint文の代わりに使うことで、目的の表示が得られます。

以下のように使ってください。

from IPython.display import display
display(df)

使用結果例

追記

「既にindexがあり初期値として0が入っているデータフレームに対して、for文で順に（0または0以外の）値が書き込まれていくにしたがって、値が書き込まれた行までを表示させたい」という要望を確認しました。

for文の中で個別に制御するのは応用がしにくいですので、以下方法をオススメします。

• 0が、まだ値が入っていないのか、0という値が入ったのか、区別できるようにする。データフレームとして初期値をnanにすることで、nanならまだ値が入っていないこと、0は0という値が入ったこと、と区別できる。
• 表示の際にnanが含まれている行は無視する。

なお、pandasの仕様上、nanが含まれている列はfloatになりますので、整数表示や整数変換をしたい場合は、適宜astype(int)を加えてください。

df = df.replace(0, pd.np.nan)   # 0が入っている前提で0をnanに変換
for 繰り替え処理
    dfの行に値を入れる処理
    display(df.dropna())    # nanが1つでもある行は出力されない

似たようなアプローチとしてDataFrameに新たに"valid"列を追加して、初期値はFalse、データ書き込み時にTrueにして、それを頼りに表示を切り替える、ということは可能です。しかし、データ書き込み時に処理を加える必要があること、余計なvalid列の初期化/削除などが煩雑であること、などから、nanを使ったアプローチの方がベターであると思いました。

Comments

[tompooh]

ありがとうございます。教えて頂いたやり方で概ね実現したいことは達成できました！！感謝です。