Q&A
「訓練データ・テストデータ」を作成されたときと同様の処理では駄目なのでしょうか？
前提・実現したいこと
機械学習を用いて文書分類をしたいと考えています。
分類器の作成及び評価まで行いました。なので今度は私自身の持つテキストデータに対して文書分類を行いたいのですがネットに挙がっている多くのサイトが訓練データ・テストデータの正答率までで終わっており、作成した分類モデルを用いて分類した例は見受けられませんでした。
https://qiita.com/yamaru/items/63a342c844cff056a549
CSVファイルに保存されたテキストに対して事前に作成した分類器・分類モデルを用いて文章分類を行うにはどのような流れで行えばよいでしょうか。CSVファイルには２０～１００文字程度の文章が１０万件ほど保存されており、それら一つ一つに対して分類を行いたいです。具体的には
分類用のモデル・分類器 ← 自身で用意したテキスト（csvファイル）10万件程度に対して文書分類
といった作業なのですがどのようなライブラリを用いてどのような流れになるのでしょうか。
大まかで構いませんのでどなたかご教授のほどよろしくお願いします。
補足情報（FW/ツールのバージョンなど）
ここにより詳細な情報を記載してください。
回答ありがとうございます
言葉足らずで私が言いたいことがうまく伝わってないようなのですが、
「自身で用意したテキスト（csvファイル）10万件程度に対して文書分類」については10万件一つ一つの分類結果を知りたいのです。
「訓練データ・テストデータ」を作成されたときと同様の処理ですと正答率や精度を求めることになるので方向性が少し違うように思います。
この方面は不勉強ですが「訓練データ・テストデータ」を作成されたときと同様の処理」にて「推論」をどうやっているかを探されると良いと思います。それが探せなかった、という質問なのかもですが。
「BERT pytorch predict」とググると、それっぽいものがいろいろ出てきます。
https://www.koi.mashykom.com/bert.html
https://stackoverflow.com/questions/56201147/how-to-access-the-predictions-of-pytorch-classification-model-bert
あなたの回答
tips
プレビュー
