【自然言語処理】BERTの事前学習済みモデルについて

Question

閲覧ありがとうございます．

今回は論文を読んでいる際に自然言語処理のBERTにおいて疑問点があり，数点質問を行いたく投稿させて頂きました．

1.そもそもBERTというのは事前学習→ファインチューニングという流れだと思うのですが，事前学習のみでも使用できるものなのでしょうか？
2.論文中に日本語事前学習済みのBERTモデルを用いたとあるのですが，ファインチューニングはされていないという解釈で正しいでしょうか？

原論文はこちらです→https://www.jstage.jst.go.jp/article/pjsai/JSAI2020/0/JSAI2020_4Rin182/_article/-char/ja/

初歩的な質問になり申し訳ありませんが，ご指導ご鞭撻のほどよろしくお願いいたします。

Answer 1

1.　事前学習ではラベルなしの大量の文書データを分析するため、企業や研究機関などで相当なマシンパワーを使って学習する。（個人で行うにはハードルが高い。もちろんデータ数を減らせばハードルは下がるが、それでは性能の高いモデルは生まれない。）事前学習の目的は、ファインチューニング（微調整）によって様々なタスクに対し良い結果が出るような「元のモデル」を作成することにあるので、事前学習「のみ」を行うことにはあまり意味はない。

2.日本語事前学習済みのBERTモデルを元に、ファインチューニングを行って感情生起要因推定モデルを作成したということ。