テキスト分類の流れを理解したいです。

Question

テキスト分類や二値分類に関する勉強をしていると疑問に思うことがありました。

https://arxiv.org/pdf/1805.12471.pdf
この論文の中で紹介されている、Colaに関しての模式図が下記になります。
この画像で、(w)に単語が埋め込まれのことはわかったのですが、(f)と(b)はどのような働きをするのか。また、(０,1)と判断されるまでの流れを教えていただきたいです。

Comments

[TakaiY]

質問は何ですか？

[smart-material]

上記の画像で、(w)に単語が埋め込まれのことはわかったのですが、(f)と(b)はどのような働きをするのか。また、(０,1)と判断されるまでの流れを教えていただきたいです。

[TakaiY]

回答はここに書くのでなく、質問を編集して内容を修正しましょう。
見てくれた人に伝わりやすくなります。

Answer 1

4.2のBaselineに大体のことが書いてあります。

要約すると、

• CoLAは2つの構造がある。
  A:Encoderと呼ばれるLSTMによって適当な長さに埋め込み(embeddings)を行う部分
  B:Classifierと呼ばれる埋め込みの結果をもとに、軽量なクラス分けを行う部分

• A:については、エンコーダでは順方向の隠れ層(f)と逆方向の隠れ層(b) があり、それぞれの結果が結合されてツラツラと繋がった言葉の特徴ができあがり、それをMaxpoolingしてEmbeddingsを構成する。

• B:については、sigmoidによってEmbeddingsを0-1の確率分布に変換する。

---

Embeddingsを使って○○か判定、は画像認識でもよくある手法です。
ですので、この例は

• 文章をハンドリングしやすくするために、画像認識でも使うような手法を使えるようにする(確率の計算ができるようにお膳立てする)方法としてLSTMを使ったよ。
• 結果、画像をベクトル化（Embeddingsに変換）して表現するように、文章もベクトル化（Embeddingsに変換）できたよ。
• だから画像認識で画像を確率で表現(Sigmoidで変換)するように、CoLAでも文章を確率で表現(Sigmoidで変換)できるようになったよ。
• ね、だから偽物っぽいか本物っぽいか評価できるよね？

と考えるとすんなりいくと思います。

Comments

[smart-material]

大変わかりやすいご説明ありがとうございます。
追加の質問になってしまうのですが、この論文で紹介されているプログラムのコードが見当たらないため、実行したくてもできません。こういった際には、データセットのダウンロード先は見つかったのですがコードなどは自分で作るしかないのでしょうか？

[退会済みユーザー]

https://github.com/nyu-mll/CoLA-baselines
MITライセンスですね！手元で安心して試せると思います。