質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
87.20%
Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

解決済

Python accuracy計算時の配列メモリエラーを改善したい

kun_monimoni
pocpocpoc

総合スコア24

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

2回答

0リアクション

0クリップ

205閲覧

投稿2022/08/15 01:13

編集2022/08/15 01:17

実現したいこと

Google colablatoryを使用。
ground truth labelとpred labelのaccuracyの計算を行うために、以下のようなコードを書きました。しかし、1ファイル140000行あるため、配列のメモリエラーが起こってしまいます。
他に方法が思いつかないため、メモリエラーを起こさずにaccuracyの計算を行う方法がありましたら教えていただけると幸いです。
よろしくお願いいたします。

発生している問題・エラーメッセージ

IOPub data rate exceeded. The notebook server will temporarily stop sending output to the client in order to avoid crashing it. To change this limit, set the config variable `--NotebookApp.iopub_data_rate_limit`. Current values: NotebookApp.iopub_data_rate_limit=1000000.0 (bytes/sec) NotebookApp.rate_limit_window=3.0 (secs)

該当のソースコード

Python

from sklearn.metrics import accuracy_score groud_truth_file = 'a.txt' pred_file = 'b.txt' with open(groud_truth_file) as f: a = f.readlines() groud_truth_label = [line.rstrip('\n') for line in a] with open(pred_file) as f: b = f.readlines() pred_label = [line.rstrip('\n') for line in b] print('groud_truth_label', groud_truth_label) print('pred_label', pred_label) print('Accuracy : ', accuracy_score(groud_truth_label, pred_label)) del groud_truth_label, pred_label

補足情報

a.txtおよびb.txtには一行に一つ0か1が書かれている状態で、各ファイル140000行あります。

以下のような質問にはリアクションをつけましょう

  • 質問内容が明確
  • 自分も答えを知りたい
  • 質問者以外のユーザにも役立つ

リアクションが多い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

気になる質問をクリップする

クリップした質問は、後からいつでもマイページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

下記のような質問は推奨されていません。

  • 間違っている
  • 質問になっていない投稿
  • スパムや攻撃的な表現を用いた投稿

適切な質問に修正を依頼しましょう。

bsdfan

2022/08/15 04:09

メモリエラーではなく、140000要素のリストをprintしようとしている部分が原因ではないですか?

まだ回答がついていません

会員登録して回答してみよう

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
87.20%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問

同じタグがついた質問を見る

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。