fastTextの学習済みモデルに関して

Question

前提・実現したいこと

fastTextの学習済みモデルを使って
Word2Vecを使った文章間の類似度算出をしようとしています。

Word2Vecを使った文章間の類似度算出
fastTextの学習済みモデル（日本語）

発生している問題・エラーメッセージ

学習済みモデルはファイルをダウンロードして使用しており、
日本語は公開されているモデルを使っていますが、
英語のfastTextの学習済みモデルを探しており、
以下が該当するのではないかと考えています。
English word vectors

fastTextの公式ページからインストール可能な日本語のモデルもあり、
Word vectors for 157 languages（js選択)とfastTextの学習済みモデル（日本語）では、どちらがEnglish word vectorsと対応するのか判断しかねています。

学習済みモデルに対しての理解が追いついておらず、
現状ではダウンロードして使っているだけなので判断ができず、今回の質問に至ります。
今後勉強を進めていきたいと思いますが、
今回の件に関しまして、知識をお貸しいただけますと大変助かります。

Answer 1

なにが質問でしょうか？
https://fasttext.cc/docs/en/english-vectors.html
は間違いなく英語ですね。
異なるデータセットに対して学習させたものが3つです。

日本語のものが英語に対応しているのかを知りたいのでしょうか？

Comments

[退会済みユーザー]

はい、Qiitaで公開されている日本語のものが英語に対応しているのかを知りたいです。

[mkgrei]

対応していないと思います。
日本語と英語を同時に処理したいということでしょうか？

どうしてもなら、正規表現で別々に抜き出すか、一度どっちか一方に翻訳をかけるかでしょうか。

[退会済みユーザー]

ご回答いただきましてありがとうございます。
同時に処理したいわけではないのですが、
Word2Vecを使った類似度を算出する為に用意した文章の内容が
言語は違いますが、日英で内容は全く同じなので、
日英で学習済みモデルを統一したいと考えています。

[退会済みユーザー]

その場合は、fastTextの公式ページからダウンロードしたモデルを
日英共に使用するのが賢明でしょうか。

[mkgrei]

言語が異なるとモデルの質が変わってきます。
たとえば、まったく同じ内容の文章の英語と日本語に対して、
英語の文書を英語のモデルで扱うこと、
英語の文書を日本語に翻訳して日本語のモデルで扱うこと、
日本語の文書を日本語のモデルで扱うこと、
日本語の文書を英語に翻訳して英語で扱うこと、
は異なります。

もちろん、同じ内容にしても、言語学的に難易度が異なることも寄与しています。

「統一」するというのはどういうことでしょうか？

[退会済みユーザー]

お返事とご回答いただきましてありがとうございます。
英語の文書を英語のモデルで扱うことと、日本語の文書を日本語のモデルで扱うことを想定しており、
この英語のモデルと日本語のモデルを作成するときに、モデルの学習させたインプット情報を統一したいということです。言語によりWkipediaのページ数の有無や説明の違いがあることは理解しています。

言い換えると今回の２つの日本語学習済みモデルである
Word vectors for 157 languages（js選択)とfastTextの学習済みモデル（日本語）は同じなのか
ということになります。

[mkgrei]

使用しているデータが同じならそれなりに似ているモデルになります。
どこまで不確定性を固定することができるのか、すぐには判断できません。

データが異なるのなら全然異なるモデルになってもよいとおもいます。
（日本語）の方はtxtファイルをダウンロードできましたか？
（js選択）の方は学習済みのモデルなのでは？

[退会済みユーザー]

お返事いただきましてありがとうございます。
ご質問いただいた意図が解りかねるのですが、
（日本語）の方はtxtファイルはダウンロードできませんでした。
（js選択）の方は学習済みのモデルです。

fastTextの公式ページからインストール可能な学習済みモデルを日英ともに用いるのが言語間の差を縮小するには、一番賢明な判断でしょうか。

[mkgrei]

> 言い換えると今回の２つの日本語学習済みモデルである
Word vectors for 157 languages（js選択)とfastTextの学習済みモデル（日本語）は同じなのか
ということになります。

を聞いていたので、そもそも片方をダウンロードできないのに比較しようがないように思ったので。

> fastTextの公式ページからインストール可能な学習済みモデルを日英ともに用いるのが言語間の差を縮小するには、一番賢明な判断でしょうか。

一番賢明かどうかわかりませんが、すぐにできることではあります。
評価できる定量的な指標もないので、判断は難しいです。

上でも申し上げましたが、片方の言語に翻訳して揃えて、同じ言語でやることも考えられます。
難しい部分をどこに持ってくるのか、という問題です。

[退会済みユーザー]

ご回答いただきましてありがとうございました。
検討すべきことが明確になりました。