Text Classification on GLUE Cola について

Question

Hugging faceの中にある、Text Classification on GLUE Colaについての質問です。

Colaというものは、英文法として正しいかを判断するタスクですが、

上記に添付してある結果、をうまく理解することができません。
正しい文法として判断された場合１に近づくのでしょうか？
また、Trainingloss、Validationloss、MatthewsCorrelation
の意味と関係性を知りたいです。

よろしくお願いします。

Answer 1

正しい文法として判断された場合１に近づく

違います

データには、正しい文法の文と、正しくない文法の文が両方あり、
・正しい文法の文は、正しいと推定したら正解
・正しくない文法の文は、正しくないと推定したら正解
で、正解が増えると「loss」は「0」に近くなっていきます

Trainingloss、Validationloss、MatthewsCorrelation

の意味と関係性

「Training loss」は、学習に用いたデータでの結果で、機械学習のアルゴは、これをできるだけ「0」に近づけようと頑張ります

「Validation loss」は、学習に用いてないデータでの結果で、学習後に未知のデータの推定に使った場合の性能の見積もりになるので、これが重要です
もちろん「0」に近い方がいいです

質問の画像ではepochが進むと、「Training loss」は良化してるけど、「Validation loss」は悪化してるので、過学習 が起きてるようです

「MatthewsCorrelation」は、下記を見てください
マシューズ相関係数とは – Matthews Correlation Coefficient –