pythonでgtp-2のtransformersを動かしたいです。

Question

コードの問題点を教えていただけますと、助かります♪

Microsoft Windows [Version 10.0.19044.1889]
(c) Microsoft Corporation. All rights reserved.

C:\Users\user>python
Python 3.10.6 (tags/v3.10.6:9c7b4bd, Aug 1 2022, 21:53:49) [MSC v.1932 64 bit (AMD64)] on win32
Type "help", "copyright", "credits" or "license" for more information.

from transformers import T5Tokenizer, AutoModelForCausalLM

Traceback (most recent call last):
File "<stdin>", line 1, in <module>
ModuleNotFoundError: No module named 'transformers'

接頭辞（Prefix）

PREFIX_TEXT = "あいうえお、"

かきくけこ

tokenizer = T5Tokenizer.from_pretrained("rinna/japanese-gpt2-medium")

Traceback (most recent call last):
File "<stdin>", line 1, in <module>
NameError: name 'T5Tokenizer' is not defined

model = AutoModelForCausalLM.from_pretrained("rinna/japanese-gpt2-medium")

Traceback (most recent call last):
File "<stdin>", line 1, in <module>
NameError: name 'AutoModelForCausalLM' is not defined

推論

input = tokenizer.encode(PREFIX_TEXT, return_tensors="pt")

Traceback (most recent call last):
File "<stdin>", line 1, in <module>
NameError: name 'tokenizer' is not defined

output = model.generate(input, do_sample=True, max_length=150, num_return_sequences=3)

Traceback (most recent call last):
File "<stdin>", line 1, in <module>
NameError: name 'model' is not defined

print(tokenizer.batch_decode(output))

Traceback (most recent call last):
File "<stdin>", line 1, in <module>
NameError: name 'tokenizer' is not defined

Comments

[jbpb0]

> Python 3.10.6 (tags/v3.10.6:9c7b4bd, Aug 1 2022, 21:53:49) [MSC v.1932 64 bit (AMD64)] on win32

質問のタグの「Python 2.7」は誤りなので、「Python」か「Python 3.x」に変えてください

[jbpb0]

> No module named 'transformers'

pythonに「transformers」をインストールしてますでしょうか？

[退会済みユーザー]

返事遅くなりましてすみません。
コマンドプロンプトでpip install transformers　と入力しただけでした。
Hugging Faceのホームページでダウンロードとかはしてないです。
どうぞよろしくお願いいたします。

[jbpb0]

> コマンドプロンプトでpip install transformers　と入力した

コマンドプロンプトで

pip install transformers

を実行したのと同じ状態で

pip show transformers

を実行してください
いろいろ表示される中に「Location:」で始まる行があるので、そこに書かれてるパスを記録してください

次に、pythonで

from transformers import...

がうまくいかない状態で、下記のpythonコードを実行してください

import sys
import pprint
pprint.pprint(sys.path)

たくさんパスが表示されますが、その中にpip show...で記録したパスが入ってますでしょうか？
入ってないとimportできません

[退会済みユーザー]

回答頂き、ありがとうございます！
最初のアドバイスを参考に昨日からtransformersのファイルを探して入れ直したりしていたら、先程、無事に動きましたー。
動かない時は、pipというのを使ってダウンロードしたつもりだったんですが、transformersが原因だったみたいです。
２回目のアドバイスなどもすごく参考になります。
本当にどうもありがとうございます。

Answer 1

No module named 'transformers'

pythonへの「transformers」のインストールがうまくいってないようです