std::io::BufReadから1文字ずつ取り出す

Question

やりたいこと・質問

std::io::BufRead から 1バイト(u8型)ではなく、1文字(char型)取り出したいです。エンコードはUTF-8を想定しています。

BufRead, Readを見る限りそのようなメソッドは無さそうです。
https://doc.rust-lang.org/std/io/trait.BufRead.html

検索を掛けてみましたが、定石と呼ばれるような方法は見つかりませんでした。

Rubyならば、以下のようにgetcでできます。

require 'stringio'

StringIO.open("fooほげ") do |io|
  while !io.eof?
    puts io.getc
  end
end

Answer 1

UTF-8 文字列から一文字ずつ取り出すための API として str::chars が提供されているので，とりあえずの用途であればこれを使用するのが良いかと思います．
ただし対象となる全データを読み込む必要があるため，巨大なファイルを扱う場合などは注意する必要があります．

let mut file = io::BufReader::new(fs::File::open("/path/to/content")?);

let mut content = String::new();
file.read_to_string(&mut content)?;

for ch in content.chars() {
    // do something
}

ツールチェインのバージョンが 1.26 以降であれば，fs::read_to_string を用いて次のように記述することもできます（この場合も読み込むデータのサイズには注意が必要）:

for ch in fs::read_to_string("/path/to/content")?.chars() {
    // do something
}

---

かつて io::Read にも一文字ずつ読み込むための chars が存在していましたが（当時の API ドキュメント），このメソッドは残念ながら 1.27 から廃止されており現在では使用することができません（いずれにせよ unstable でしたが...）

Comments

[maai]

廃止されていたんですね・・・。
io::Readのcharsの議論を読むと確かに一通り読むか改行区切りで読むしか無さそうです。
`read_to_string` を使ってみようと思います。ありがとうございます。

https://github.com/rust-lang/rust/issues/27802#issuecomment-154195312

Answer 2

既に回答がついていますが、補足を。
現状1字づつ取り出す手段がないので回答のように一旦全部の文字列を読み出すことになるでしょう。
メモリ使用量が気になるなら 一旦lines で取り出してから読むこともできます。

use std::io::{self, prelude::*};

fn main() -> io::Result<()> {
    let input = io::Cursor::new("椿榎楸柊".bytes().collect::<Vec<u8>>());
    for line in input.lines() {
        for c in line?.chars() {
            println!("{}", c);
        }
    }
    Ok(())
}

playground

もしどうしても1文字づつがいいなら from_utf8 を使ってUTF-8をデコードしつつ読み出す方法もありますが少し大変です。

use std::io::{self, prelude::*};
use std::str::from_utf8;

struct Getc<R> {
    input: io::Bytes<R>,
}

impl<R> Getc<R>
where
    R: Read,
{
    fn from_reader(input: R) -> Self {
        Self {
            input: input.bytes(),
        }
    }
}

impl<R> Iterator for Getc<R>
where
    R: Read,
{
    type Item = io::Result<char>;
    fn next(&mut self) -> Option<io::Result<char>> {
        // UTF-8なので最大3バイト読めばよい
        let mut buf = [0u8; 3];
        for i in 0..3 {
            match self.input.next() {
                None => return None,
                Some(Err(e)) => return Some(Err(e)),
                Some(Ok(b)) => {
                    buf[i] = b;
                    // 今まで読んだバイトを文字列として解釈できるならその最初の文字を取り出す
                    match from_utf8(&buf[0..=i]) {
                        Ok(s) => return s.chars().next().map(Ok),
                        Err(_) => continue,
                    }
                }
            }
        }
        // non utf-8
        Some(Err(io::ErrorKind::InvalidData.into()))
    }
}

fn main() {
    let mut input = io::Cursor::new("椿榎楸柊".bytes().collect::<Vec<u8>>());
    for c in Getc::from_reader(&mut input) {
        println!("{:?}", c)
    }
}

playground

Comments

[blackenedgold]

1文字づつ読む際の注意ですが、文字の途中でエラーになった際は読みかけのデータは揮発します。

[IgaguriMK]

基本多言語面外の文字（典型的には人名用漢字や絵文字）が4バイトになり得るので、正しくパースするには4バイト読み込まないといけません。
逆に、5バイト以上のシーケンスはエンコード体系としては可能ではありますが、UTF-8としては不正なので4バイト読めば十分です。

Answer 3

2バイト読み込んだらchar型に変換すれば良いのではないでしょうか。
変換についてはこちらの記事をご参考下さい。
https://qiita.com/chezou/items/947900faef4c1032ed94

Comments

[maai]

utf-8は1~6byteの可変長なので、2byteごとではうまく行かなさそうです https://ja.wikipedia.org/wiki/UTF-8

[y_waiwai]

ならその読み込みシーケンスで読んでいけばいいかと

[marurunn]

であれば1バイト読み込むごとにencodeメソッドを試み、
文字化けを起こしているか確認してみてはいかがでしょうか。
デフォルトで不正なバイトがあった場合例外を投げるようになっているので、例外をキャッチした場合さらに1バイト読み込んでもう1度encodeが出来るか試す。

これを正常にエンコードされるまで繰り返せばよいかと思います。
https://docs.ruby-lang.org/ja/latest/method/String/i/encode.html