fastTextでtrain_supervisedしようとした時にFloating point exception

Question

fastTextのtutorialでtext classificationをしようとtrain_supervisedを実行すると、Floating point exceptionと表示され、binファイルが生成されません。

$ python3
Python 3.7.9 (default, Apr 30 2021, 20:11:56) 
[GCC 7.3.1 20180712 (Red Hat 7.3.1-12)] on linux
Type "help", "copyright", "credits" or "license" for more information.
>>> import fasttext
>>> model = fasttext.train_supervised(input="cooking.train")
Read 0M words
Number of words:  14543
Number of labels: 735
Floating point exception

$ free
              total        used        free      shared  buff/cache   available
Mem:        4039428      756380      264896         664     3018152     2994932
Swap:       1048572           0     1048572

https://fasttext.cc/docs/en/supervised-tutorial.html
※tutorial以外にtwitterから投稿を取得してtrain_supervisedをしようとしましたが、同じようにFloating point exceptionとなりました。

開発環境はvagrant、amazonlinux2です。
英語の記事などを読んでメモリーの問題かと思い、swapで1G足して、5Gにしていますが、ダメでした。解決方法、わかりますでしょうか？

Answer 1

おはようございます。

問題文読ませていただきました。

こちらの公式?ドキュメントを確認すると、fastTextを動かすために色々と準備が必要みたいです。
・Python module

記事内の「Requirements」箇所を確認&実行いただけますでしょうか？????‍♂️

Comments

[DeepRoastBeans]

ありがとうございます。再度Installationに従ってinstallしました。numpy、scipy、pybind11、fasttextが入っているように見えますが、同じ結果のように見えます。

$ pip3 install numpy
Defaulting to user installation because normal site-packages is not writeable
Requirement already satisfied: numpy in /home/vagrant/.local/lib/python3.7/site-packages (1.20.3)

$ pip3 install scipy
Defaulting to user installation because normal site-packages is not writeable
Requirement already satisfied: scipy in /home/vagrant/.local/lib/python3.7/site-packages (1.6.3)
Requirement already satisfied: numpy<1.23.0,>=1.16.5 in /home/vagrant/.local/lib/python3.7/site-packages (from scipy) (1.20.3)

$ pip3 install pybind11
Defaulting to user installation because normal site-packages is not writeable
Requirement already satisfied: pybind11 in /home/vagrant/.local/lib/python3.7/site-packages (2.6.2)

$ pip3 install fasttext
Defaulting to user installation because normal site-packages is not writeable
Requirement already satisfied: fasttext in /home/vagrant/.local/lib/python3.7/site-packages (0.9.2)
Requirement already satisfied: pybind11>=2.2 in /home/vagrant/.local/lib/python3.7/site-packages (from fasttext) (2.6.2)
Requirement already satisfied: setuptools>=0.7.0 in /usr/lib/python3.7/site-packages (from fasttext) (38.4.0)
Requirement already satisfied: numpy in /home/vagrant/.local/lib/python3.7/site-packages (from fasttext) (1.20.3)

$ python3 training.py
Read 0M words
Number of words: 14543
Number of labels: 735
Floating point exception

[退会済みユーザー]

なるほど。。

Read 0M words と出ているのが気になるので、こちらの記事に書かれている「検証用の文章データの取得」から「分類器の学習」までを実行して変化があるのか、ご確認いただけますか？????‍♂️

https://zenn.dev/yagiyuki/articles/3bb2104de0d0c6d20cd0