PythonのApple silicon用機械学習 mlxライブラリを用いたWhisperのエラー

Question

実現したいこと

Pythonのmlxライブラリを用いてWhisperで文字起こしをしたいです。

• GitHubに記載のサンプルを動かしたところ、エラーが発生したので対処したいです

前提

Apple siliconに対応したライブラリmlxのサンプル、Whisperを動かしています。環境構築を実施後、iPhoneで録音したm4aファイルをフォルダに置き、ソースコードを実行しています。

発生している問題・エラーメッセージ

whisper/whisper/decoding.py", line 550, in _get_audio_features
    raise TypeError(
TypeError: audio_features has an incorrect dtype: float32

該当のソースコード

import whisper
text = whisper.transcribe(speech_file)["text"]

を実行したところ、上記のエラーメッセージとなります。該当する５５０行目を含む関数の定義は以下となります。

    def _get_audio_features(self, mel: mx.array):
        if self.options.fp16:
            mel = mel.astype(mx.float16)

        if mel.shape[-2:] == (
            self.model.dims.n_audio_ctx,
            self.model.dims.n_audio_state,
        ):
            # encoded audio features are given; skip audio encoding
            audio_features = mel
        else:
            audio_features = self.model.encoder(mel)

        if audio_features.dtype != (mx.float16 if self.options.fp16 else mx.float32):
            raise TypeError(
                f"audio_features has an incorrect dtype: {audio_features.dtype}"
            )

試したこと

astype(mx.float32)をどこかに入れれば良いのか？とも思いましたが、各関数の連携を読みきれていません。
勉強不足ではありますが、どなたかご教示いただけませんでしょうか？

補足情報（FW/ツールのバージョンなど）

使用しているマシンはMac mini/ M2 Pro / 16GBメモリです。
CondaによりPython3.10環境を構築し、あとは GitHubに記載通りの手順を踏んで環境設定をしています。

GitHubのページはこちらになります。
https://github.com/ml-explore/mlx-examples/tree/main/whisper

参考にさせていただいたページ
https://zenn.dev/noplan_inc/articles/f68a885497922f

Comments

[quickquip]

8時間前にmergeされた https://github.com/ml-explore/mlx-examples/pull/90 でしょうか?

[tobikko]

quickquipさま
早速のコメントありがとうございます。
はい、ご指摘の通り同じ状況かつmergeされていることを確認しました。
issueには目を通したつもりになっていましたが、pullの方は見れていませんでした。夜に改めて動作確認をしてみます。

Answer 1

quickquip様にご指摘いただいたとおり、 GitHub上で問題解決がされましたので、ローカルを更新して再度やり直したところ、無事にExampleの通り動くことが確認できました。