sentence bert ダウンロード仕方

Question

[1]
model = SentenceBertJapanese("sonoisa/sentence-bert-base-ja-mean-tokens")

上記のようなコードを記述すると下記のようなエラーが発生します

The tokenizer class you load from this checkpoint is not the same type as the class this function is called from. It may result in unexpected tokenization.
The tokenizer class you load from this checkpoint is 'BertTokenizer'.
The class this function is called from is 'BertJapaneseTokenizer'

下記のサイトを参考にしています。
https://qiita.com/sonoisa/items/1df94d0a98cd4f209051

対処法またはsentence bert の日本語のダウンロードのコードを教えていただきたいです。

Comments

[melian]

> !pip install -q transformers==4.7.0 fugashi ipadic

ここで、-q オプションを削除して実行してみてください。

!pip install transformers==4.7.0 fugashi ipadic

これでエラーメッセージが表示される様になるので、エラーの原因が判るかもしれません。

[melian]

ちなみに、transformers==4.7.0 としていますが、バージョン 4.7.0 である必要はありますか？ 現時点での transformers のバージョンは 4.44.2 ですが、こちらであればコンパイル済のバイナリが配布されていますのでインストールすることができるかと思います。

[quickquip]

Google Colabなら 4.42.4 がインストール済みなので、インストールの必要すらないかと思います（が、Google Colab でやっているのかどうかすら書かれてない）（「このページを参考にやっています」は質問者さんが何をやっているのかの説明にはならない）

[otetsu04310431]

実装はジュピターノートブックでしてます！
バージョンを指定したら、一つ目のエラーは改善されました。
二つ目のエラーは改善されません。
追加で画像添付してます。

[melian]

> 二つ目のエラーは改善されません。

こちらについて、transformers の GitHub リポジトリに以下の issue が投稿されています。エラーではなく、ワーニングの様で実質的な問題は無さそうに読めます。

Misleading warning when using DPRContextEncoderTokenizer · Issue #12926 · huggingface/transformers
https://github.com/huggingface/transformers/issues/12926

どうしても気になる場合は、AutoTokenizer を利用するとよいかと思います。
※ 以下のコードでは全角スペースでインデントを付けています(コメント欄では行頭のスペースやタブが潰れてしまうため)

from transformers import BertJapaneseTokenizer, BertModel, AutoTokenizer
import torch

class SentenceBertJapanese:
　　def __init__(self, model_name_or_path, device=None):
　　　　# self.tokenizer = BertJapaneseTokenizer.from_pretrained(model_name_or_path)
　　　　self.tokenizer = AutoTokenizer.from_pretrained(model_name_or_path)
　　　　self.model = BertModel.from_pretrained(model_name_or_path)
　　　　self.model.eval()

[otetsu04310431]

いつも回答ありがとうございます！
そうなんですね理解しました！

[otetsu04310431]

ベストアンサーに選びたいのでよろしければ、同じ内容を回答欄に投稿いただけますでしょうか？

Answer 1

二つ目のエラーは改善されません。

こちらについて、transformers の GitHub リポジトリに以下の issue が投稿されています。エラーではなく、ワーニングの様で実質的な問題は無さそうに読めます。

Misleading warning when using DPRContextEncoderTokenizer · Issue #12926 · huggingface/transformers

どうしても気になる場合は、AutoTokenizer を利用するとよいかと思います。

from transformers import BertJapaneseTokenizer, BertModel, AutoTokenizer
import torch

class SentenceBertJapanese:
    def __init__(self, model_name_or_path, device=None):
        # self.tokenizer = BertJapaneseTokenizer.from_pretrained(model_name_or_path)
        self.tokenizer = AutoTokenizer.from_pretrained(model_name_or_path)
        self.model = BertModel.from_pretrained(model_name_or_path)
        self.model.eval()

Answer 2

[香車]東上☆Aho(英帆)☆海美「
https://qiita.com/en2enzo2/items/92c82287c72d1fbd35c9
【入門】Sentence BERT - Qiita(ja)

上記によると

!pip install sentence-transformers

となっているようですが ?
」

Comments

[otetsu04310431]

https://qiita.com/sonoisa/items/1df94d0a98cd4f209051
このサイトを参考にしているのですが、対処法ございますでしょうか