Python accuracy計算時の配列メモリエラーを改善したい

Question

実現したいこと

Google colablatoryを使用。
ground truth labelとpred labelのaccuracyの計算を行うために、以下のようなコードを書きました。しかし、1ファイル140000行あるため、配列のメモリエラーが起こってしまいます。
他に方法が思いつかないため、メモリエラーを起こさずにaccuracyの計算を行う方法がありましたら教えていただけると幸いです。
よろしくお願いいたします。

発生している問題・エラーメッセージ

IOPub data rate exceeded.
The notebook server will temporarily stop sending output
to the client in order to avoid crashing it.
To change this limit, set the config variable
`--NotebookApp.iopub_data_rate_limit`.

Current values:
NotebookApp.iopub_data_rate_limit=1000000.0 (bytes/sec)
NotebookApp.rate_limit_window=3.0 (secs)

該当のソースコード

from sklearn.metrics import accuracy_score

groud_truth_file = 'a.txt'
pred_file = 'b.txt'

with open(groud_truth_file) as f:
    a = f.readlines()
groud_truth_label = [line.rstrip('\n') for line in a]

with open(pred_file) as f:
    b = f.readlines()
pred_label = [line.rstrip('\n') for line in b]

print('groud_truth_label', groud_truth_label)
print('pred_label', pred_label)

print('Accuracy : ', accuracy_score(groud_truth_label, pred_label))
del groud_truth_label, pred_label

補足情報

a.txtおよびb.txtには一行に一つ0か1が書かれている状態で、各ファイル140000行あります。

Comments

[bsdfan]

メモリエラーではなく、140000要素のリストをprintしようとしている部分が原因ではないですか？

Answer 1

google colabで実行してみましたが、エラーは出ませんでした

　

a.txtおよびb.txtには一行に一つ0か1が書かれている状態で、各ファイル140000行あります。

を、下記コードを実行して乱数で作成

import numpy as np

groud_truth_label_org = np.random.randint(2, size=(140000, 1))
pred_label_org = np.random.randint(2, size=(140000, 1))

groud_truth_file = 'a.txt'
pred_file = 'b.txt'

np.savetxt(groud_truth_file, groud_truth_label_org, fmt='%d')
np.savetxt(pred_file, pred_label_org, fmt='%d')

# 作成したファイルの行数を確認
!wc -l a.txt
!wc -l b.txt

　
引き続き、質問に記載のコードをそのまま実行しましたが、エラーは出ず結果が表示されました

Comments

[jbpb0]

質問者さんが私と全く同じことをgoogle colabで実行したら、エラーになるのでしょうか？

[pocpocpoc]

正しく実行できました、ありがとうございます！

Answer 2

一気に全部読み込んで処理しようとせず、一部を読み込んで処理、をファイルが尽きるまで繰り返し、ってのではどうでしょう