Rustのdbaseクレートで国土地理院のdbfファイルを文字化けせずに読み込みたいです。

Question

実現したいこと

• Rustのdbaseクレートで国土地理院(例として、消防署データ)でダウンロードできるzipファイルの中にあるdbfファイルを読み込むと、文字化けしてしまうので、それを文字化けせずに読み込めるようにしたいです。　

発生している問題・分からないこと

• 国土地理院でダウンロードできるdbfファイルの文字コードはCP932になります。
• dbaseクレート内のReaderで読み込む際の関数として、エンコーディングを指定する関数が

1. new_with_encoding
2. from_path_with_encoding

ありますが、第二引数がdbaseクレート内のEncodingトレイトになっており、

• UnicodeLossy
• Unicode
• Ascii

がそのまま使えそうです。

CP932はShift-JISの拡張のようなものと調べており、CP932もしくは、Shift-JISでEncodingトレイトを拡張出来ないかなと思い、試しましたが、実装すべき関数が下記となっており、

    fn decode<'a>(&self, bytes: &'a [u8]) -> Result<Cow<'a, str>, DecodeError>;

    fn encode<'a>(&self, s: &'a str) -> Result<Cow<'a, [u8]>, EncodeError>;

DecodeError

がprivate moduleとなっており、私の力では拡張する方法が分からないです。

Encodingトレイトのコメント文に、featureフラグyoreをオンにすると、すべてのyore::CodePage（このリンク先だと認識）が使えるようになる。

と解釈しておりますが、CP932が存在しません。

該当のソースコード

use std::collections::BTreeMap;
use shapefile::dbase::{FieldValue, Reader, Encoding, encoding::AsCodePageMark, CodePageMark};
use shapefile::dbase::error::{DecodeError, EncodeError}; // ここがエラーになります。
use encoding_rs::SHIFT_JIS;
use std::fmt;
use std::borrow::Cow;

fn main() {
    let mut dbf_reader = Reader::from_path_with_encoding("resources/P17-12_13_FireStation.dbf", CP932Encoding)
        .expect("Failed to open DBF file");

    for (i, record_result) in dbf_reader.iter_records().enumerate() {
        println!("Record {}", i);
        let record = record_result.expect("Failed to read record");
        let mut records_map: BTreeMap<String, Vec<String>> = BTreeMap::new();

        for (name, value) in record {
            let v: String = match value {
                FieldValue::Character(Some(chara)) => {
                    chara.to_string()
                },
                FieldValue::Character(None) => String::new(),
                FieldValue::Numeric(s) => s.map_or(String::new(), |num| num.to_string()),
                _ => String::new(),
            };
            records_map.entry(name.to_string())
                .or_insert_with(Vec::new)
                .push(v);
        }
        println!("\tRecords {:?}: {:?}", i, records_map);
    }
}

#[derive(Debug)]
pub enum MyError {
    DecodeError(String),
    EncodeError(String),
    IoError(std::io::Error),
}

impl fmt::Display for MyError {
    fn fmt(&self, f: &mut fmt::Formatter<'_>) -> fmt::Result {
        match self {
            MyError::DecodeError(msg) => write!(f, "Decode Error: {}", msg),
            MyError::EncodeError(msg) => write!(f, "Encode Error: {}", msg),
            MyError::IoError(err) => write!(f, "IO Error: {}", err),
        }
    }
}

impl From<std::io::Error> for MyError {
    fn from(err: std::io::Error) -> MyError {
        MyError::IoError(err)
    }
}

// CP932 (Windows-31J) 用のカスタムエンコーディング構造体
#[derive(Copy, Clone, Debug)]
pub struct CP932Encoding;

impl AsCodePageMark for CP932Encoding{
    fn code_page_mark(&self) -> CodePageMark {
        CodePageMark::CP932  
    }
}

impl Encoding for CP932Encoding {
    fn decode<'a>(&self, bytes: &'a [u8]) -> Result<Cow<'a, str>, DecodeError> {
        let (decoded, _, had_errors) = SHIFT_JIS.decode(bytes);
        if had_errors {
            Err("CP932 decoding error".to_string())
        } else {
            Ok(Cow::Owned(decoded.into_owned()))
        }
    }

    fn encode<'a>(&self, s: &'a str) -> Result<Cow<'a, [u8]>, EncodeError> {
        let (encoded, _, had_errors) = SHIFT_JIS.encode(s);
        if had_errors {
            Err("CP932 encoding error".to_string())
        } else {
            Ok(Cow::Owned(encoded.into_owned()))
        }
    }
}

[package]
name = "dbf_sample"
version = "0.1.0"
edition = "2021"

[dependencies]
shapefile = "0.6.0"
encoding_rs = "0.8"
encoding = "0.2"
dbase = { version = "0.5", features = ["yore"] }
encoding_rs_io = "0.1.0"

試したこと・調べたこと

• teratailやGoogle等で検索した
• ソースコードを自分なりに変更した
• 知人に聞いた
• その他

上記の詳細・結果

• teratailで「Rust dbf CP932」や「Rust dbase CP932」と検索しましたが、同様の質問が見つけられませんでした。

補足

前述のtomlに記載済みです。（漏れていたら、すみません）

Comments

[bsdfan]

どんな実装になっているのかコード見ていて気が付いたのですが、dbase-rs の最新のコード(リリース前のgithubのmasterブランチ)では encoding_rs が取り込まれていて CP932 も使えるようになっていそうです。
https://github.com/tmontaigu/dbase-rs/pull/88
リリース版でどうにかするのは、拡張して自分でどうにかできる形になっていないっぽいので、難しいんじゃないでしょうか。

[odko]

まず、初めにご回答ありがとうございます。

> リリース版でどうにかするのは、拡張して自分でどうにかできる形になっていないっぽいので、難しいんじゃないでしょうか。
⇨やはり難しそうですかね。。

>dbase-rs の最新のコード(リリース前のgithubのmasterブランチ)では encoding_rs が取り込まれていて CP932 も使えるようになっていそうです。
⇨ただ、こちらは認知出来ておりませんでした。（視野狭窄になっておりました🙇‍♂️ & 未熟でした。）
本当にありがとうございます！！

そうなると、今後出来るアプローチとしては、このコミットが含まれるリリース時期の確認のIssue発行くらいですかね？（遠慮なくIssue発行して下さいと記載されていたので。）

[bsdfan]

自分でできることとしては cargo.toml で git のレポジトリ(とブランチやコミット)を指定できるので、それで試すのがいいんじゃないでしょうか。
https://doc.rust-lang.org/cargo/reference/specifying-dependencies.html#specifying-dependencies-from-git-repositories

[odko]

リアクションが遅れてしまい、申し訳ございません。

ありがとうございます。
この方法実践した事なかったので、すごくありがたいです。

試してみます！！

[odko]

すごく遅くなってしまい、すみません。
試してみたら、解決致しました！！

ありがとうございます！！

ベストアンサーに選びたいのですが、
初めての投稿でしたので、操作方法がすぐ分からずでしたので、調査してみます🙏

[bsdfan]

こちらのやりとりはコメントなのでベストアンサーはつけれないです。
ご自身で、やったことを簡単にまとめて回答して、自己解決にするのがいいでしょう。