ループ処理を理解したい

Question

前提・実現したいこと

eval_loss５つのうち最後の1行で表示される1つしか抽出することができません。

eval_lossだけをすべてを表示させたいです。

表示されるもの
{'eval_loss': 0.6871868968009949, 'eval_matthews_correlation': 0.0, 'eval_runtime': 0.0413, 'eval_samples_per_second': 193.932, 'eval_steps_per_second': 48.483, 'epoch': 1.0}
{'eval_loss': 0.6824596524238586, 'eval_matthews_correlation': 0.0, 'eval_runtime': 0.0388, 'eval_samples_per_second': 206.16, 'eval_steps_per_second': 51.54, 'epoch': 2.0}
{'eval_loss': 0.6821974515914917, 'eval_matthews_correlation': 0.0, 'eval_runtime': 0.0382, 'eval_samples_per_second': 209.559, 'eval_steps_per_second': 52.39, 'epoch': 3.0}
{'eval_loss': 0.6847565174102783, 'eval_matthews_correlation': 0.0, 'eval_runtime': 0.0402, 'eval_samples_per_second': 199.071, 'eval_steps_per_second': 49.768, 'epoch': 4.0}
{'eval_loss': 0.6864501237869263, 'eval_matthews_correlation': 0.0, 'eval_runtime': 0.0391, 'eval_samples_per_second': 204.798, 'eval_steps_per_second': 51.199, 'epoch': 5.0}

下記のソースコードを実行して出力されるもの

該当のソースコード

import ast
with open ('d2.txt')as f:
     for line in f:    
        di = ast.literal_eval(line)
     print(di['eval_loss'])
     

補足情報（FW/ツールのバージョンなど）

ここにより詳細な情報を記載してください。

Comments

[1T2R3M4]

リファレンスや入門サイト等で勉強してみては。

Answer 1

for line in fとあるので、forの中身はfの行数分、実行されます。
そのとき、dt = ast.literal_eval(line)と結果をdtに代入していますが、この行が実行される度にdtに代入しているため、最後の結果しかdtに残りません。

forのイメージはこんな感じです。

xs = ['a', 'b', 'c']
for x in xs:
    di = x
print(di)

# 以下と同じ

x = xs[0]
di = x
x = xs[1]
di = x
x = xs[2]
di = x
print(di)

そのため、意図した結果を取得するにはforの中にprint()を入れて毎回print()するか、結果を保持する変数を作ってfor内が実行される度にそこに追加していくかする必要があります。

# ① 毎回 print()
for line in f:
    di = ast.literal_eval(line)
    print(di['eval_loss'])  # 毎回出力するようにする

# ② 一旦リストに保存
results = []
for line in f:
    di = ast.literal_eval(line)
    results.append(di['eval_loss'])
print(results) # [0.6871868968009949, 0.6824596524238586, ...]

個人的には内包表記をおすすめします（やっていることは上の②のコードと同じで、書き方が違うだけです）。

results = [ast.literal_eval(line) for line in f]
print(di['eval_loss'] for di in results)

# または

print(ast.literal_eval(line)['eval_loss'] for line in f)

Answer 2

Pythonはインデントが意味を持つ言語です。
そのため、ループの範囲はdi = ast.literal_eval(line)だけでありprint文が実行されるのはループから抜けたあとです。
そして、既に値のある変数への代入は変数の上書きになり、以前の値は消えてしまいます。

with open ('d2.txt')as f:
     for line in f:    
        di = ast.literal_eval(line)
     print(di['eval_loss'])

をループなしで模式的に書くと、

with open ('d2.txt')as f:
     di = ast.literal_eval(1行目)
     di = ast.literal_eval(2行目)
     di = ast.literal_eval(3行目)
     di = ast.literal_eval(4行目)
     di = ast.literal_eval(5行目)
     print(di['eval_loss'])

となりますので、最後の値だけがprintされます。

with open ('d2.txt')as f:
     for line in f:    
        di = ast.literal_eval(line)
        print(di['eval_loss'])

を模式的に書くと

with open ('d2.txt')as f:
     di = ast.literal_eval(1行目)
     print(di['eval_loss'])
     di = ast.literal_eval(2行目)
     print(di['eval_loss'])
     di = ast.literal_eval(3行目)
     print(di['eval_loss'])
     di = ast.literal_eval(4行目)
     print(di['eval_loss'])
     di = ast.literal_eval(5行目)
     print(di['eval_loss'])

で5行ともprintされます。

Answer 3

表示だけしたいのか抽出したいのか、元データがどのようなものなのかがよく分かりませんが、
とりあえずprintはループ内に入れると意図した表示にはなるかと思います。
値を抽出したいのであればリストなりに追加しておけばよいかと思います。

import ast

losses = []
for line in ["{'eval_loss':0.1}","{'eval_loss':0.2}"]:    
    di = ast.literal_eval(line)
    print(di['eval_loss'])
    losses.append(di['eval_loss'])

print(losses) # [0.1, 0.2]