Rust で generics を使うときのエラー

Question

やろうとしていること

Rust で Python で使うようのコードを書いています。Python で使うときに配列の中身は整数型でも浮動小数点数でも良いようにしたいのでジェネリクスを使って対応させようとしています。

use pyo3::prelude::*;
use pyo3::wrap_pyfunction;

use num_traits::{NumAssign, NumCast};

#[pymodule]
fn pykk(_py: Python, m: &PyModule) -> PyResult<()> {
    m.add_wrapped(wrap_pyfunction!(imag2real))?;
    Ok(())
}

#[pyfunction]
fn imag2real<T>(x: Vec<T>, y: Vec<T>) -> PyResult<Vec<f64>>
where
    T: NumAssign + NumCast + Copy
{
    const PI: f64 = 3.141592653589;
    let mut result = vec![0.0; y.len()];

    for i in 0..x.len() {
        result[i] = 2.0 / PI * integrate(&x, &y, i);
    }

    Ok(result)
}

forループの中に出てきている integrate(&x, &y, i) という関数は以下のような入出力をもっています。

fn integrate<T>(x: &Vec<T>, y: &Vec<T>, num: usize) -> f64;

T は上の img2real で定めているものと同じように定義しています。

生じている問題

上のコードをビルドすると下のようなエラーが生じます。

error[E0283]: type annotations needed for `Vec<T>`
  --> src/lib.rs:26:4
   |
25 | #[pyfunction]
   | ------------- consider giving `arg0` the explicit type `Vec<T>`, where the type parameter `T` is specified
26 | fn imag2real<T>(x: Vec<T>, y: Vec<T>) -> PyResult<Vec<f64>>
   |    ^^^^^^^^^
   |    |
   |    cannot infer type for type parameter `T` declared on the function `imag2real`
   |    required by a bound in this
27 | where
28 |     T: NumAssign + NumCast + Copy
   |        --------- required by this bound in `imag2real`
   |
   = note: cannot satisfy `_: NumAssign`
help: consider specifying the type argument in the function call
   |
26 | fn imag2real::<T><T>(x: Vec<T>, y: Vec<T>) -> PyResult<Vec<f64>>
   |             ^^^^^

このエラーが言っていることは

• Vec<T> に型アノテーションをつけろ
• T を型推論出来ない

ということだと思うのですが、これらをどう解決したらいいのかわかりません。

初歩的な質問かと思いますが、どうぞよろしくお願いいたします。

追記

Cargo.toml

[package]
authors = ["xxx xxx"]
edition = "2018"
name = "pykk"
version = "0.1.0"

# See more keys and their definitions at https://doc.rust-lang.org/cargo/reference/manifest.html

[lib]
crate-type = ["cdylib"]
name = "pykk"

[dependencies.pyo3]
features = ["extension-module"]
version = "0.13.2"

[dependencies]
num-traits = "0.2.14"

関数 integrate の実装

fn integrate<T>(x: &Vec<T>, y: &Vec<T>, num: usize) -> f64
where
    T: NumAssign + NumCast + Copy,
{
    let mut result = T::from(0.0).unwrap();
    let diff = x[1] - x[0];

    for i in 0..x.len() {
        if i == num {
            continue;
        }
        result += x[num] * y[i] / (x[i] * x[i] - x[num] * x[num]) * diff;
    }

    result.to_f64().unwrap()
}

Comments

[blackenedgold]

回答にあたってエラーが出る状況を再現したいので以下の情報を追記して頂けないでしょうか

* Rustのバージョン
* Cargo.tomlの内容（特にdependencies）
* 可能ならエラーを再現できる完全なコード
+ 特にintegrateの完全な定義、少なくとも完全な型

恐らくですがnum_traitsのバージョン違いのエラーなんじゃないかと推測していますが、状況が分からないため確定できません。追記をお願いします。

[Yhaya]

追記いたしました。宜しくお願い致します。

[Yhaya]

書き忘れました。Rustのバージョンは 1.50.0 です

Answer 1

追記ありがとうございます。手元で動かすことで状況を確認できました。エラーは直接的にはPyO3の pyfunction アトリビュートマクロがジェネリクスをサポートしてないエラーのようですが、根本的な原因としてやろうとしていることができない、あるいは一筋縄ではいかないことをやろうとしているからのようです。

Rustのジェネリクス関数は実体を持たず、i64 や f64 などの型を与えてはじめて関数の実体が作られます。元のコードでいえば imag2real が実際の関数を作るためのテンプレートのようなもので、 imag2real::<i64> や imag2real::<f64> が実際の関数になります。Rustの内部で使う分にはコンパイラがよしなにやってくれるので意識しなくていいのですが、今回のように外部に関数を晒そうとすると実体がないので今回のようなエラーになります。なので「ジェネリクスの関数をそのままPythonに晒す」はできないと思って下さい。

ただ、今回やろうとしていることが全くできないかというとそうでもなくて、どうにかする手段がなくはないです。問題なのがPythonに晒す関数がジェネリクスなことなので、Pythonに晒す部分だけ普通の関数にして内部でジェネリクスな関数を呼んであげると実現できます。この方法だとソースコード内で指定した型しか扱えませんが、どのみち数値演算で使う型は限られているのでそこまで問題にはならないんじゃないでしょうか。

#[pymodule]
fn pykk(_py: Python, m: &PyModule) -> PyResult<()> {
    #[pyfn(m, "imag2real")]
    fn imag2real_dispatch(py: Python, x: Vec<PyObject>, y: Vec<PyObject>) -> PyResult<Vec<f64>> {
        // ここでRustの型にキャストする
        if let (Ok(x), Ok(y)) = (try_convert::<i64>(py, &x), try_convert::<i64>(py, &y)) {
            // i64で呼んでるのでi64の実体がここで作られる
            imag2real(x, y)
        } else if let (Ok(x), Ok(y)) = (try_convert::<f64>(py, &x), try_convert::<f64>(py, &y)) {
            // 同じくf64の実体がここで作られる
            imag2real(x, y)
        } else {
            // Pythonの型のミスマッチの例外を出す。
            // ごめんなさい、例外について調べきれてないのでご自身でここは埋めて下さい
            todo!()
        }
    }

    m.add_wrapped(wrap_pyfunction!(imag2real_dispatch))?;
    Ok(())
}

fn imag2real<T>(x: Vec<T>, y: Vec<T>) -> PyResult<Vec<f64>>
where
    T: NumAssign + NumCast + Copy,
{
    const PI: f64 = 3.141592653589;
    let mut result = vec![0.0; y.len()];

    for i in 0..x.len() {
        result[i] = 2.0 / PI * integrate(&x, &y, i);
    }

    Ok(result)
}

fn try_convert<'a, T>(py: Python<'a>, v: &'a Vec<PyObject>) -> PyResult<Vec<T>>
where
    T: FromPyObject<'a>,
{
    v.iter()
        .map(|e| e.extract(py))
        .collect::<Result<Vec<T>, _>>()
}

NumpyやPandasとの相互利用を考えられてるとのことですが、私の手元に環境がないので調べられませんでした。多分動くんじゃないかなと思うのですがご自身でご確認下さい。
因みにこの方法（PyO3で楽に書く方法）は少なくとも1回はデータの変換処理が入るのであんまり効率的じゃないんじゃないかと思います。恐らくですが効率を求めるならPythonのFFIを調べて直接numpyのAPIを叩くことになるんじゃないかと思います。効率については測ってみないと何ともいえないので参考までに。

Comments

[Yhaya]

丁寧な説明ありがとうございます。とてもわかり易かったです。ジェネリクスの関数をそのままPythonに晒すというのは出来ないんですね、初めて知りました。

Answer 2

PyO3 を用いる場合に Rust 側で generic types を使う方法についての回答にはなりませんが、generic types を使わずに PyList などを使うのはいかがでしょうか。例えば下のような感じに：

extern crate num_traits;
extern crate pyo3;

use pyo3::prelude::*;
use pyo3::wrap_pyfunction;
use pyo3::FromPyObject;
use pyo3::types::{PyList};
use num_traits::{NumAssign, NumCast};

use std::f64::consts::PI;

#[pyfunction]
fn imag2real(x: &PyList, y: &PyList) -> PyResult<Vec<f64>>
where
{
    let mut result: Vec<f64> = vec![0.0; y.len()];

    for i in 0..x.len() {
        result[i] = 2.0 / PI * integrate(&x, &y, i);
    }

    Ok(result)
}

/// integrate 関数の中身が不明なので、とりあえず適当に書いてます
fn integrate(x: &PyList, y: &PyList, num: usize) -> f64
{
    let u: Vec<f64> = x.as_ref().extract().unwrap();
    let v: Vec<f64> = y.as_ref().extract().unwrap();
    let mut sum: f64 = 0.0;
    for (uv, vv) in u.iter().zip(v.iter()){
        sum += uv + vv;
    }
    sum
}

"PyO3 user guide" の Mapping of Rust types to Python types によれば、Rust の Vec<T> に対して pyo3::types::PyList が対応するようです。
PyList の中の

上記コードでは若干回りくどい（PyList を Vec<f64> などに変換している）ことをしていますが、他にいい方法があるかもしれません。

以下、参考URLです。

• 「The PyO3 user guide」: https://pyo3.rs/v0.13.2/
• 「Pyo3のPyAnyオブジェクトのキャストの方法がわからない」: https://teratail.com/questions/182828
  • PyList から Vec<usize> への変換方法が回答として提示されています。

Comments

[Yhaya]

回答くださりありがとうございます。試してみたところ、PyListに変更することでうまくいくのですが、Python側から呼び出すときに当然ですが list 型しか受け付けてくれず、pandas.Series や numpy.ndarray を入れるときには list にキャストする必要がありました。

Rust側で Vec<f64>を指定しているときにはこれらも受け付けてくれるのですが、PyListを使って pandas.Seriesなどを引数として取らせるようにはできますでしょうか？