OpenAI のWhisper がCPUモードで動作する、GPU（CUDA）モードで使用したい

Question

実現したいこと

OpenAI のWhisperをローカル環境に構築・使用して、会議の音声ファイルを文字起こししようとしています。
CPUでしか動作せず、すごく遅いので、GPU（CUDA）で処理したいです。

前提・要望

・AIを勉強中のpython初心者です。
・解決策が理想ですが、設定確認方法や参考URLやアドバイスなんでも情報が頂ければありがたいです。

発生している問題・エラーメッセージ

Whisperを、下記device指定（CUDA）で起動するとCUDAがないとエラーが発生します。

起動時入力コマンド
whisper 20230403.wav --model medium --device cuda --language Japanese
エラーメッセージ
raise RuntimeError('Attempting to deserialize object on a CUDA '
RuntimeError: Attempting to deserialize object on a CUDA device but torch.cuda.is_available() is False. If you are running on a CPU-only machine, please use torch.load with map_location=torch.device('cpu') to map your storages to the CPU.

デバイス指定なしの以下コマンドで、Pytorch＋CPUモードで動作し、文字起こしできます。遅いです。
whisper 20230403.wav --model medium --language Japanese

該当のソースコード

python

試したこと

・Stable DeffusionでAI画像生成はPytorch＋CUDAモードで動作する

・pyコマンドではpytorch+CPUで認識している
PS C:\Users\xxx> py -c "import torch; print(torch.version, torch.cuda.is_available())"
1.13.1+cpu False

・python上ではpytorch+CUDAを認識している

import torch
torch.version

'1.13.1+cu117'

torch.cuda.is_available()

TRUE

補足情報（FW/ツールのバージョンなど）

以下の環境です
GPU:NVIDIA Geforce RTX 3070 Laptop GPU
OS：Windows 11 Home 22H2
torch:1.13.1+cu117
pyenv:pyenv 3.1.1
python:Python 3.10.9
pyenv global:3.10.9
CUDA:11.7
CUDA Tool Kit:V11.7.64
CuDnn:8.9.0
システム環境変数：CUDA_PATH,CUDA_PATH_V11_7,CUDNN の3種設定
インストールツール:pip使用

Comments

[jbpb0]

> python上ではpytorch+CUDAを認識している

の状態で下記のpythonコードを実行して、使ってるpythonの絶対パスを調べてください

import sys
print(sys.executable)

上記で調べた絶対パスが、たとえば
C:\aaa\bbb\python.exe
だとしたら、

> whisper 20230403.wav --model medium --device cuda --language Japanese

の代わりに、下記を実行してみてください
(実行する際は、調べた実際のpythonの絶対パスに置き換えてください)

C:\aaa\bbb\python.exe -m whisper 20230403.wav --model medium --device cuda --language Japanese

[magma189]

アドバイス頂き、有難うございます。
ご提示頂いた手順でwhisperがCUDA上で動作しました。
この手順は、これからpython系AIを研究する上で凄く役立ちます。
py上でCUDAを認識しない現象は無視できます。
今回は有難うございました。

Answer 1

jbpb0様のコメントにて解決致しました。ありがとうございます。
質問ステイタスを「解決済」にする方法がわからないため、自己解決欄に記載しております。
埋もれないために、頂いたコメントを以下に転載致します。
■コメント：

python上ではpytorch+CUDAを認識している

の状態で下記のpythonコードを実行して、使ってるpythonの絶対パスを調べてください
import sys
print(sys.executable)
上記で調べた絶対パスが、たとえば
C:\aaa\bbb\python.exe
だとしたら、

whisper 20230403.wav --model medium --device cuda --language Japanese

の代わりに、下記を実行してみてください
(実行する際は、調べた実際のpythonの絶対パスに置き換えてください)
C:\aaa\bbb\python.exe -m whisper 20230403.wav --model medium --device cuda --language Japanese
■返信：
アドバイス頂き、有難うございます。
ご提示頂いた手順でwhisperがCUDA上で動作しました。
この手順は、これからpython系AIを研究する上で凄く役立ちます。
py上でCUDAを認識しない現象は無視できます。
今回は有難うございました。