pythonで出力されるjsonデータを別のpythonファイルで受け取り、tkinerに表示したい

Question

バイナリファイルを変換して出力されるjsonログを別のファイルで受け取ると、jsonデータの一つ分しか取得できない。

##やりたいことの全体像
システムから出力されるバイナリファイルをjsonに変換するpythonファイルがある。現在、その出力されたjsonデータはコマンド上に表示させているが、今後は別のpythonファイルで受け取り、tkinterに表示したい。

##困っていること

現在、データを受け取り、表示させるところまでは完成したが、正しく表示されない。数十〜数百行あるデータの1つのみを取得し、culc_関数により同じデータ100件が表示されてしまう。

#logger.py こちらを主として動かす
from tkinter import messagebox
import tkinter
from tkinter import *
from tkinter import ttk
from tkinter import filedialog
import os
import datetime
import to_json
def writeToLog(msg): 
 numlines = int(log.index('end - 1 line').split('.')[0]) 
 log['state'] = 'normal'
 #if numlines==24: 
 # #log.delete(1.0, 2.0) 
 if log.index('end-1c')!='1.0': 
 log.insert('end', '\n') 
 log.insert('end', msg) 
 log['state'] = 'disabled'
def calc_(): 
 for i in range(100): 
 writeToLog(str(i)) 
if __name__ == '__main__': 
 # ウィンドウを作成 
 root = tkinter.Tk() 
 root.title("ツール名") 
 # アプリの名前 
 root.geometry("800x600") # アプリの画面サイズ
 # Frame1の作成
 frame1 = ttk.Frame(root, padding=10) 
 frame1.grid() 
 # # 検索ボタンの作成 
 refer_button = ttk.Button(frame1, text=u'出力ボタン', command=calc_) 
 refer_button.grid(row=3, column=1) 
 log = Text(root, state='disabled',borderwidth=5, width=110, height=30, wrap='none', padx=10,pady=10) 
 ys = ttk.Scrollbar(root, orient = 'vertical', command = log.yview) 
 log['yscrollcommand'] = ys.set
 #log.insert('end', "Lorem ipsum...\n...\n...") 
 log.grid(row=4, column=0) 
 ys.grid(column = 1, row = 4, sticky = 'ns') 
 # ウィンドウを動かす
 root.mainloop()

#to_json.py ファイルの読み込み、出力を行う
with log.file(sys.argv[1]) as log: 
 for msg in log: 
 if msg: 
 msg = output(msg)

ちなみに別ファイルに呼び出した時点で、データは一つになってしまっているようです。

Comments

[teamikl]

インデント幅はスペース４つでお願いします。

例: for の後のif
字下げされてないように見えるが、
Tab 混在してる場合もあるので判別しにくい

[Kazuhiro-ch]

すいません。諸事情があり、スマホからの投稿だったため、インデントがずれてしまったものとおもいます。申し訳ございません。

[teamikl]

いくつか確認したい点があります。

to_json 内での logオブジェクト, output 関数の定義は何処でしょう？

to_json.py には関数定義はなく、
import した時点で実行されるのを想定していますか？

[teamikl]

＞スマホからの投稿

なるほど、環境によってはそういうこともあるのですね。
一応インデントが曖昧な箇所はその２箇所だけだったので、
インデントによりどっちか解らないという状況はなく、支障なさそうです。

output 関数がなかったので、to_json をコメントアウトし、
インデントを修正し実行すると、０~99まで出力されました。

＞culc_関数により同じデータ100件が表示されてしまう。

という状態は確認できませんでした。

[Kazuhiro-ch]

> output 関数の定義はどこ

これは外部からインポートするものでこの関数がjsonに変換するものです。そのため、to_jsonはファイルを受け取り、関数を処理し、吐き出すというプログラムになります。

> インデント修正、実行→０~99まで出力された。

はい。これはインターネットから拾ったものでそれが基本的な動作となります。また機能するはずです。ただ、jsonのmsgを受け取り、出力するとおかしくなってしまったいるようです。

もしかしたら受け渡しの方法が間違えているのかもしれません。loggerの方にどう渡せばいいのかわかっておらず、進めてしまっています。

[teamikl]

肝心な受け渡しの部分が掲載されてませんね。
logger.py 側からは to_json は import だけして、値は参照してません。

> 。ただ、jsonのmsgを受け取り、出力するとおかしくなってしまったいるようです。

このおかしくなったときのコードを
試したこととして、質問に記載してください。

例えば、

for msg in ...
　msg = output(msg)

なので、もし msg をfor 文の後に渡しているのでしたら
繰り返しの度に msg は上書きされて、最後の msg のみが渡されることになります。

現状のコードからは問題の現象を再現できないので、
推測になってしまいます。

[Kazuhiro-ch]

おっしゃられている通りみたいでした。

forの最終msgのみを受け取り、出力していました。

for文でログを蓄積→出力もしくはそのまま出力ということはできますでしょうか？

もしよろしければやり方のヒントだけでも教えていただければとおもいます。

[teamikl]

現状の構造のまま対応するなら、
リストに蓄積することで全てのデータを渡せますが、

to_json.py の内容は、関数として実装して
logger.py から呼び出す形にじそすしたほうが良いです。
回答にサンプルコードを掲載します。

[Kazuhiro-ch]

ご回答ありがとうございます。

with構文をdef関数にまとめた際に、importしたファイル(with log)が変数となり、local variable 'log' referenced before assignmentと出るのですが、どうすれば良いですか？

また、to_json.py→def to_json, writetolog→output関数への置き換えという認識で間違いないでしょうか？

[teamikl]

> with構文をdef関数にまとめた際に、importしたファイル(with log)が変数となり、local variable 'log' r> eferenced before assignmentと出るのですが、どうすれば良いですか？

log の定義が質問のコードに提示されてないので、
第三者からは解らない箇所です。
（実行しているコードと掲載のコードが異なる可能性があります）
エラー自体は、ローカル変数を定義前に使おうとしてる際に起こります。

＞to_json.py→def to_json, writetolog→output関数への置き換えという認識で間違いないでしょうか？

概ねそのとおりです。ファイルを分ける必要があれば、to_json 関数を別の to_json ファイルで定義するようにしてください。

[Kazuhiro-ch]

すいません。

loggerの方のlogに関してはネット上からの転記です。to＿jsonの方のlogについては書き換えたものですので、違うものを指しています。わかりにくくしてしまい申し訳ございません。

Answer 1

問題点は、変数 msg を上書きしているのが原因のようですね。
但し、変数を calc_ に渡すところが実装されていないので、
サンプルコードとして回答します

# to_json.py

def output(line):
    # 実態がわからないため、値に対して何も変更しない 関数として実装。
    return line


# GUIから再利用するために、「ジェネレーター」として実装
def read_file(filepath):
    with open(filepath, encoding="utf-8") as stream:
        for line in stream:
            yield output(line)

# to_json.py を直接呼び出した場合は、ファイル内容をprintで出力
def main(filepath):
    for line in read_file(filepath):
        print(line)

if __name__ == "__main__":
    import sys
    main(sys.argv[1])

# main.py

import tkinter as tk
from tkinter import ttk
from tkinter.scrolledtext import ScrolledText
from functools import partial
import to_json


def calc(button, text, freq=20):
    # 処理中はボタンを押せないようにする
    button.state(["disabled"])

    stream = to_json.read_file("test.txt") # ※ "test.txt" ファイルを用意する

    for lineno, line in enumerate(stream, start=1):
        text.insert(tk.END, f"{lineno:04} ", "lineno")
        text.insert(tk.END, f"{line}\n")

        if lineno % freq == 0:
            text.see(tk.END)
            text.update()

    text.see(tk.END)

    button.state(["!disabled"])


def main():
    root = tk.Tk()
    text = ScrolledText(root, width=80, height=20)
    text.tag_config("lineno", foreground="#AAAAAA")
    text.pack(fill=tk.BOTH, expand=tk.YES)
    button = ttk.Button(root, text="Output")
    button.config(command=partial(calc, button, text))
    button.pack()
    root.mainloop()

if __name__ == '__main__':
    main()

ちなみに、今回はファイルを経由してデータを渡していますが、
コマンドラインに出力される文字を直接 GUI に渡すには、
標準出力をリダイレクトする手法があります。

Comments

[Kazuhiro-ch]

無事、反映される形になりました！ありがとうございます！