RustでCSVファイルを読み込んで、DataFrameを返したい

Question

実現したいこと

Rustの機械学習で分類器を作りたいです。
以下の記事を参考にしていますが、csvをDataFrameに返すところでエラーが起きてつまづいています。
https://dev.classmethod.jp/articles/smartcore-palmer

該当部のコード

//CSVファイルを読み込んでDataFrameを返す
fn read_csv_with_schema<P: AsRef<Path>>(path: P) -> PolarResult<DataFrame> {
    let schema = Schema::new(vec![
        Field::new("species", DataType::Utf8),
        Field::new("island", DataType::Utf8),
        Field::new("culmen_length_mm", DataType::Float64),
        Field::new("culmen_depth_mm", DataType::Float64),
        Field::new("flipper_length_mm", DataType::Float64),
        Field::new("body_mass_g", DataType::Float64),
        Field::new("sex", DataType::Utf8)
    ]);
    let file = File::open(path).expect("Cannot open file.");
    CsvReader::new(file)
        .with_schema(Arc::new(schema))
        .has_header(true)
        .with_ignore_parser_errors(true) //エラーが出ても処理継続
        .finish()
}

エラー

  Compiling smartcore-cnn321 v0.1.0 (/Users/meme/smartcore-cnn321)
error[E0061]: this function takes 0 arguments but 1 argument was supplied
  --> src/main.rs:22:18
   |
22 |       let schema = Schema::new(vec![
   |  __________________^^^^^^^^^^^_-
   | |                  |
   | |                  expected 0 arguments
23 | |         Field::new("species", DataType::Utf8),
24 | |         Field::new("island", DataType::Utf8),
25 | |         Field::new("culmen_length_mm", DataType::Float64),
...  |
29 | |         Field::new("sex", DataType::Utf8)
30 | |     ]);
   | |_____- supplied 1 argument
   |
note: associated function defined here
  --> /Users/meme/.cargo/registry/src/github.com-1ecc6299db9ec823/polars-core-0.20.0/src/schema.rs:53:12
   |
53 |     pub fn new() -> Self {
   |            ^^^

error[E0308]: mismatched types
  --> src/main.rs:33:22
   |
33 |         .with_schema(Arc::new(schema))
   |                      ^^^^^^^^^^^^^^^^
   |                      |
   |                      expected `&polars::prelude::Schema`, found struct `std::sync::Arc`
   |                      help: consider borrowing here: `&Arc::new(schema)`
   |
   = note: expected reference `&polars::prelude::Schema`
                 found struct `std::sync::Arc<polars::prelude::Schema>`

error[E0277]: `&str` is not an iterator
    --> src/main.rs:47:28
     |
47   |     let target = df.select("species");
     |                     ------ ^^^^^^^^^ `&str` is not an iterator; try calling `.chars()` or `.bytes()`
     |                     |
     |                     required by a bound introduced by this call
     |
     = help: the trait `Iterator` is not implemented for `&str`
     = note: required because of the requirements on the impl of `IntoIterator` for `&str`
note: required by a bound in `DataFrame::select`
    --> /Users/meme/.cargo/registry/src/github.com-1ecc6299db9ec823/polars-core-0.20.0/src/frame/mod.rs:1235:12
     |
1235 |         I: IntoIterator<Item = S>,
     |            ^^^^^^^^^^^^^^^^^^^^^^ required by this bound in `DataFrame::select`

Some errors have detailed explanations: E0061, E0277, E0308.
For more information about an error, try `rustc --explain E0061`.
error: could not compile `smartcore-cnn321` due to 3 previous errors

心当たり

polarsのバージョンが0.20.0に変更しなければいけなかった

polars = "0.14.7"
polars-core = {version = "0.14.7", features=["ndarray"]}

Answer 1

polarsのバージョンが0.20.0に変更しなければいけなかった

Polarsは現在活発に開発されているということですので、バージョンが上がる間にAPIも変更されたようです。

以下のドキュメントを見ながら最新のAPIに合うようにコードを修正したところ、エラーを解消することができました。

• ユーザーガイド
• APIリファレンス

変更後のコードは以下のようになります。（関係する部分のみ掲載します）

fn read_csv_with_schema<P: AsRef<Path>>(path: P) -> PolarResult<DataFrame> {
    // Schemaの定義方法を変更
    let mut schema = Schema::new();
    schema.with_column("species".to_string(), DataType::Utf8);
    schema.with_column("island".to_string(), DataType::Utf8);
    schema.with_column("culmen_length_mm".to_string(), DataType::Float64);
    schema.with_column("culmen_depth_mm".to_string(), DataType::Float64);
    schema.with_column("flipper_length_mm".to_string(), DataType::Float64);
    schema.with_column("body_mass_g".to_string(), DataType::Float64);
    schema.with_column("sex".to_string(), DataType::Utf8);

    let file = File::open(path).expect("Cannot open file.");
    CsvReader::new(file)
        .with_dtypes(Some(&schema))  // with_dtypesメソッドへ変更
        .has_header(true)
        .with_ignore_parser_errors(true)
        .finish()
}

fn get_feature_target(df: &DataFrame) -> (PolarResult<DataFrame>, PolarResult<DataFrame>) {
    let features = df.select(vec![
        "culmen_length_mm",
        "culmen_depth_mm",
        "flipper_length_mm",
        "body_mass_g",
    ]);
    let target = df.select(["species"]); // [ ] を追加
    (features, target)
}

個人的な感想ですが、PolarsのAPIリファレンスには、まだサンプルコードがほとんど載っていないので、ちょっと分かりにくいと感じました。

今回は該当しなかったのですが、内容によっては、ユーザーガイド、サンプルコード、ソースコード中のテストケースなどにヒントがあることもあります。今後また何か分からないことが出てきたら、それらも見てみるといいでしょう。

Comments

[gongongo]

ご丁寧にありがとうございます。
次からはガイドやリファレンスに目を通すようにしたいと思います。
エラー原因だけでなく、デバッグの方法まで教えていただき感謝申しあげます。